[论文解读] CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG Signals

Cédric Rommel, Thomas Moreau+2 more|arXiv (Cornell University)|Jun 25, 2021

EEG and Brain-Computer Interfaces参考文献 49被引用 5

一句话总结

本文提出CADDA，一种用于EEG信号的可微分、类别特定的数据增强方法，通过基于梯度的优化自动学习每种类别的最优增强策略。该方法引入了新颖的EEG专用增强操作，并在无类别依赖和类别特定设置下均表现出优越性能，优于无梯度方法，且在睡眠分期任务中收敛速度超过现有基于梯度的方法。

ABSTRACT

Data augmentation is a key element of deep learning pipelines, as it informs the network during training about transformations of the input data that keep the label unchanged. Manually finding adequate augmentation methods and parameters for a given pipeline is however rapidly cumbersome. In particular, while intuition can guide this decision for images, the design and choice of augmentation policies remains unclear for more complex types of data, such as neuroscience signals. Besides, class-dependent augmentation strategies have been surprisingly unexplored in the literature, although it is quite intuitive: changing the color of a car image does not change the object class to be predicted, but doing the same to the picture of an orange does. This paper investigates gradient-based automatic data augmentation algorithms amenable to class-wise policies with exponentially larger search spaces. Motivated by supervised learning applications using EEG signals for which good augmentation policies are mostly unknown, we propose a new differentiable relaxation of the problem. In the class-agnostic setting, results show that our new relaxation leads to optimal performance with faster training than competing gradient-based methods, while also outperforming gradient-free methods in the class-wise setting. This work proposes also novel differentiable augmentation operations relevant for sleep stage classification.

研究动机与目标

• 为解决EEG信号在数据有限的监督学习设置下缺乏有效且自动化的数据增强策略的问题。
• 探索依赖类别的增强策略，认识到不同EEG阶段（如N2与W）需要不同的不变性。
• 开发数据增强搜索问题的可微分松弛，实现对大规模、类别特定策略空间的高效基于梯度的优化。
• 提出适用于睡眠阶段分类的新型、EEG专用可微分增强操作。
• 在EEG睡眠分期和基准任务上评估该方法，与最先进基于梯度和无梯度方法对比性能与效率。

提出的方法

• 提出三种专为EEG信号设计的新型可微分增强操作：时间反转、符号翻转以及基于傅里叶变换的代理操作。
• 将AutoAugment的双层优化框架扩展至支持类别特定策略，使每种类别拥有自己可学习的增强权重集合。
• 使用Gumbel-Softmax松弛实现对子策略的可微分采样，支持通过增强策略选择过程进行端到端反向传播。
• 采用搜索空间的可微分松弛，使基于梯度的优化能够作用于每种类别下操作及其参数的组合。
• 在无类别依赖和类别特定两种设置下应用该方法，后者使每种EEG睡眠阶段可采用不同的增强策略。
• 采用两阶段训练流程：内层循环在验证集上评估策略性能，外层循环通过梯度下降更新策略权重。

实验结果

研究问题

• RQ1 与无类别依赖或无梯度方法相比，基于梯度的自动数据增强结合类别特定策略是否能提升EEG睡眠分期的性能？
• RQ2 哪些新颖的、EEG专用的增强操作在提升睡眠阶段分类泛化能力方面是有效的？
• RQ3 可微分松弛如何使策略搜索空间的优化比传统黑箱优化更快、更高效？
• RQ4 类别特定增强带来的性能增益是否依赖于数据规模，与密度匹配方法相比如何？
• RQ5 不同增强策略如何影响各个EEG类别，CADDA能否发现这些类别特定的不变性？

主要发现

• 在无类别依赖设置下，CADDA的最终准确率高出0.5%，且比Faster AutoAugment快40%，比DADA高出1%。
• 在类别特定设置下，CADDA比AutoAugment快五倍，且性能优于所有评估的无梯度方法。
• 该方法发现了类别特定的增强策略：例如，时间反转和符号翻转对某些阶段更有效，而其他阶段则需要不同的操作。
• 在PhysioNet数据集上，手动网格搜索幅度参数表明，最优增强性能依赖于训练数据规模，当使用2^-11的数据时，平衡准确率最高可提升1.5%。
• 基于密度匹配的方法在低数据规模下表现较差（如6晚），但随着数据量增加（24晚）而改善，凸显了CADDA在数据稀缺场景下可微分搜索的优势。
• 消融实验证实，可微分松弛和类别特定策略设计对性能至关重要，任一组件的移除均导致准确率显著下降。