[論文レビュー] CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG Signals

Cédric Rommel, Thomas Moreau+2 more|arXiv (Cornell University)|Jun 25, 2021

EEG and Brain-Computer Interfaces参考文献 49被引用数 5

ひとこと要約

本稿では、勾配ベース最適化を用いて各クラスごとに最適な増幅ポリシーを自動で学習する、微分可能でクラス別データ拡張手法CADDAを提案する。EEGに特化した新たな増幅操作を導入し、クラス無作為およびクラス別設定の両方で優れた性能を発揮し、勾配フリー手法を上回り、既存の勾配ベース手法と比較してより高速に収束することが示された。睡眠ステージングタスクにおいて優れた性能を発揮する。

ABSTRACT

Data augmentation is a key element of deep learning pipelines, as it informs the network during training about transformations of the input data that keep the label unchanged. Manually finding adequate augmentation methods and parameters for a given pipeline is however rapidly cumbersome. In particular, while intuition can guide this decision for images, the design and choice of augmentation policies remains unclear for more complex types of data, such as neuroscience signals. Besides, class-dependent augmentation strategies have been surprisingly unexplored in the literature, although it is quite intuitive: changing the color of a car image does not change the object class to be predicted, but doing the same to the picture of an orange does. This paper investigates gradient-based automatic data augmentation algorithms amenable to class-wise policies with exponentially larger search spaces. Motivated by supervised learning applications using EEG signals for which good augmentation policies are mostly unknown, we propose a new differentiable relaxation of the problem. In the class-agnostic setting, results show that our new relaxation leads to optimal performance with faster training than competing gradient-based methods, while also outperforming gradient-free methods in the class-wise setting. This work proposes also novel differentiable augmentation operations relevant for sleep stage classification.

研究の動機と目的

• 限られたデータでの教師あり学習設定において、特に有効で自動化されたEEG信号用のデータ拡張戦略の欠如に取り組む。
• 異なるEEGステージ（例：N2対W）が異なる不変性を要することを認識し、クラス依存の増幅ポリシーを探索する。
• 大規模でクラス固有のポリシー空間に対して勾配ベース最適化を可能にする、データ増幅探索問題の微分可能リラクゼーションを構築する。
• 睡眠ステージ分類に適した、新たなEEG特化型微分可能増幅操作を提案する。
• EEG睡眠ステージングおよびベンチマークタスクにおいて、最先端の勾配ベースおよび勾配フリー手法と比較して、性能と効率を評価する。

提案手法

• EEG信号に特化した3つの新しい微分可能増幅操作を導入：時間反転、符号反転、フーリエ変換に基づく代替操作。
• AutoAugmentの二段階最適化フレームワークを拡張し、各クラスに固有の学習可能な増幅重みを持つクラス別ポリシーをサポートする。
• Gumbel-Softmaxリラクゼーションを用いて、サブポリシーを微分可能にサンプリングし、増幅ポリシー選択プロセス全体に勾配逆伝播を可能にする。
• 各クラスごとの操作とそのパラメータの組み合わせに対して、勾配ベース最適化を可能にする、探索空間の微分可能リラクゼーションを採用する。
• クラス無作為およびクラス別設定の両方で手法を適用し、特に後者では各EEG睡眠ステージに固有の増幅戦略を可能にする。
• 二段階の学習プロセスを採用：内側のループでバリデーションセット上でポリシーの性能を評価し、外側のループで勾配降下法によりポリシー重みを更新する。

実験結果

リサーチクエスチョン

• RQ1 クラス別ポリシーを用いた勾配ベース自動データ増幅は、クラス無作為または勾配フリー手法と比較して、EEG睡眠ステージングタスクで性能を向上させることができるか？
• RQ2 睡眠ステージ分類における一般化性能の向上に有効な、新たなEEG特化型増幅操作は何か？
• RQ3 ポリシー探索空間の微分可能リラクゼーションは、従来のブラックボックス最適化と比較して、より高速かつ効果的な学習を可能にするか？
• RQ4 クラス別増幅による性能向上はデータレジームのサイズに依存するか？密度マッチング手法と比較してどうなるか？
• RQ5 異なる増幅戦略は個々のEEGクラスにどのように影響を及ぼすか？また、CADDAはこれらのクラス固有の不変性を同定できるか？

主な発見

• クラス無作為設定では、CADDAは最終的な正確度が0.5%向上し、Faster AutoAugmentよりも40%高速に達成され、DADAよりも1%高い性能を示した。
• クラス別設定では、CADDAはAutoAugmentの5倍速く、評価済みのすべての勾配フリー手法を上回る性能を達成した。
• 本手法はクラス固有の増幅戦略を同定した：例えば、時間反転や符号反転は特定のステージにおいてより有益である一方、他のステージでは異なる操作が必要であることが判明した。
• PhysioNetデータセットでは、マグニチュードパラメータの手動グリッドサーチの結果、最適な増幅性能はトレーニングデータサイズに依存し、データ量が2^-11に相当する場合、バランス正確度が最大1.5%向上した。
• 密度マッチングに基づく手法は低データレジーム（例：6夜分）では性能が低かったが、データ量が増加（24夜分）するにつれて向上した。これは、CADDAの微分可能探索がデータが少ない状況でも優位であることを示している。
• アブレーションスタディの結果、微分可能リラクゼーションとクラス別ポリシー設計が性能に不可欠であることが確認され、いずれのコンponentを除外すると正確度が著しく低下した。