[論文レビュー] Transfer Learning for Brain-Computer Interfaces: A Complete Pipeline

Dongrui Wu, Ruimin Peng+2 more|arXiv (Cornell University)|Jul 3, 2020

EEG and Brain-Computer Interfaces参考文献 33被引用数 4

ひとこと要約

本論文は、信号処理、特徴工学、分類／回帰の各段階にわたるトランスファーラーニング（TL）を統合した、EEGベースのブレインコンピュータインターフェース（BCI）の包括的なトランスファーラーニング（TL）パイプラインを提案する。また、信号処理の前段階に、被験者間の一貫性を向上させるための新しいデータアライメント手順を導入している。このアプローチにより、キャリブレーション作業の負荷が顕著に低減され、オフライン実験では、データアライメントと高度なTLを組み合わせた場合に顕著な性能向上が確認された。

ABSTRACT

Transfer learning (TL) has been widely used in electroencephalogram (EEG) based brain-computer interfaces (BCIs) to reduce the calibration effort for a new subject, and demonstrated promising performance. After EEG signal acquisition, a closed-loop EEG-based BCI system also includes signal processing, feature engineering, and classification/regression blocks before sending out the control signal, whereas previous approaches only considered TL in one or two such components. This paper proposes that TL could be considered in all three components (signal processing, feature engineering, and classification/regression). Furthermore, it is also very important to specifically add a data alignment component before signal processing to make the data from different subjects more consistent, and hence to facilitate subsequential TL. Offline calibration experiments on two MI datasets verified our proposal. Especially, integrating data alignment and sophisticated TL approaches can significantly improve the classification performance, and hence greatly reduce the calibration effort.

研究の動機と目的

• 複数の処理段階にわたるトランスファーラーニングを活用することで、EEGベースのBCIシステムにおけるキャリブレーション作業の負荷を低減すること。
• 信号処理の前段階に専用のデータアライメントコンponentを導入することで、EEG信号の被験者間ばらつきに対処すること。
• 信号処理、特徴工学、分類モジュールにおけるトランスファーラーニングの影響を体系的かつ評価すること。
• データアライメントと洗練されたTL手法を組み合わせることで、分類性能が著しく向上することを示すこと。

提案手法

• 信号処理の前段階に、被験者間でEEG信号を正規化するためのデータアライメントコンponentを導入し、特徴の一貫性を向上させること。
• 信号処理段階で、ソース被験者から得た事前学習済みフィルターや表現をターゲット被験者に適応させることで、トランスファーラーニングを適用すること。
• 特徴工学段階で、ソース被験者から学習された空間的または時間的特徴をターゲット被験者に転送することで、トランスファーラーニングを実装すること。
• 分類／回帰段階で、ソース被験者で事前学習したモデルを新しいターゲット被験者に微調整することで、トランスファーラーニングを適用すること。
• 信号処理、特徴工学、分類の3段階にわたるすべてのTLを統合した、エンドツーエンドの完全なパイプラインを設計すること。
• 2つのモーターイメージネーション（MI）EEGデータセットを用いたオフラインキャリブレーション実験により、パイプラインを検証すること。

実験結果

リサーチクエスチョン

• RQ1 信号処理、特徴工学、分類の3段階にわたるTLの統合は、1つまたは2つの段階でのみTLを適用する場合と比較して、BCI性能にどのように影響を与えるか？
• RQ2 信号処理の前段階にデータアライメントステップを追加することで、その後のトランスファーラーニングの効果にどのような影響を与えるか？
• RQ3 データアライメントと高度なトランスファーラーニング技術を組み合わせることで、EEGベースのBCIにおけるキャリブレーション作業の負荷を顕著に低減できるか？
• RQ4 パイプライン全体における異なるTL戦略の組み合わせが、新しい被験者に対する分類精度にどのように影響を与えるか？
• RQ5 各コンponent（データアライメント、信号処理におけるTL、特徴工学におけるTL、分類におけるTL）が、全体の性能向上に果たす相対的寄与度は何か？

主な発見

• データアライメントと洗練されたトランスファーラーニングをすべての処理段階に統合することで、新しい被験者に対する分類性能が顕著に向上した。
• 信号処理の前段階でのデータアライメントは、被験者間ばらつきを効果的に低減し、より効果的なトランスファーラーニングを可能にした。
• 信号処理、特徴工学、分類の3つのコンポonentにわたるTLを適用することで、1つまたは2つのコンポonentでのみTLを適用する場合よりも優れた性能が得られた。
• 提案された包括的パイプラインにより、新しい被験者に対する必要なキャリブレーション時間が短縮されたことが、オフライン実験での分類精度の向上によって実証された。
• データアライメントとマルチステージTLの組み合わせは、TLを単独で使用するか、アライメントなしで使用するベースライン手法を上回る性能を発揮した。