[論文レビュー] Transfer Learning for Motor Imagery Based Brain-Computer Interfaces: A Complete Pipeline

Dongrui Wu, Xue Jiang+4 more|arXiv (Cornell University)|Jul 3, 2020

EEG and Brain-Computer Interfaces参考文献 51被引用数 4

ひとこと要約

本論文は、運動想起ベースの脳-コンピュータインターフェース（BCI）のための包括的な転移学習（TL）パイプラインを提案し、データアライメント、空間フィルタリング、特徴工学、分類のすべての主要な構成要素にわたるTLを統合している。本研究では、データアライメントとマルチコンポonent TLを組み合わせることで、被験者間およびセッション間の両設定において分類精度が著しく向上し、キャリブレーション作業が大幅に削減されることを示している。

ABSTRACT

Transfer learning (TL) has been widely used in motor imagery (MI) based brain-computer interfaces (BCIs) to reduce the calibration effort for a new subject, and demonstrated promising performance. While a closed-loop MI-based BCI system, after electroencephalogram (EEG) signal acquisition and temporal filtering, includes spatial filtering, feature engineering, and classification blocks before sending out the control signal to an external device, previous approaches only considered TL in one or two such components. This paper proposes that TL could be considered in all three components (spatial filtering, feature engineering, and classification) of MI-based BCIs. Furthermore, it is also very important to specifically add a data alignment component before spatial filtering to make the data from different subjects more consistent, and hence to facilitate subsequential TL. Offline calibration experiments on two MI datasets verified our proposal. Especially, integrating data alignment and sophisticated TL approaches can significantly improve the classification performance, and hence greatly reduces the calibration effort.

研究の動機と目的

• 個々のEEGのばらつきや非定常性による運動想起ベースBCIにおける高いキャリブレーション負荷を軽減すること。
• 従来のTL手法がBCIパイプラインの1〜2つの構成要素にのみTLを適用していたという制限を克服すること。
• データアライメント、空間フィルタリング、特徴工学、分類のすべての主要処理段階にTLを統合した包括的なTLフレームワークを提案・検証すること。
• 被験者間のドメイン一貫性を向上させるために、TLの前処理として明示的なデータアライメントステップが有効であるかを検証すること。
• 被験者間およびセッション間の両BCI設定におけるマルチコンポonent TLの性能を評価すること。

提案手法

• 空間フィルタリングの前段階で、ソースドメインとターゲットドメインのEEG試行間の分布差を低減するため、ユークリッドアライメント（EA）を用いた新しいデータアライメントステップを導入。
• CCSPおよびRCSPを用いた空間フィルタリングにTLを適用し、TL強化型空間フィルタを用いる。
• ドメイン適応型特徴選択および抽出技術を活用して、特徴工学段階にTLを統合。
• LDA、CLDA、wARといったアルゴリズムを用いて分類段階にTLを適用し、限られたラベル付きターゲットデータにおける一般化性能を向上させるために正則化を適用。
• 図2に示すように、時間フィルタリング、データアライメント、空間フィルタリング、特徴工学、分類のすべての段階に体系的にTLを適用する包括的なパイプラインを設計。
• 2つのMI EEGデータセットを用いたオフラインの被験者間およびセッション間実験により、パイプラインの有効性を検証。

実験結果

リサーチクエスチョン

• RQ1 運動想起BCIパイプラインの主要コンポーネント（データアライメント、空間フィルタリング、特徴工学、分類）すべてに、転移学習を効果的に適用可能か？
• RQ2 空間フィルタリングの前段階として明示的なデータアライメントステップを追加することで、その後の転移学習の性能にどのような影響を与えるか？
• RQ3 複数のコンポーネントにわたるTLの統合は、1〜2つのコンポーネントにのみTLを適用する場合よりも優れた分類性能を達成するか？
• RQ4 CSP-LDAのような従来手法と比較して、提案されたパイプラインは、精度およびキャリブレーション効率の面でどのように優れているか？
• RQ5 提案されたTLパイプラインは、被験者間およびセッション間BCI応用において、キャリブレーション作業をどの程度削減できるか？

主な発見

• 特にデータアライメントと空間フィルタリング・分類におけるTLを統合した本研究の包括的TLパイプラインは、セッション間評価において、データセット2aで平均分類精度75.56% ± 0.05を達成し、最高水準を記録した。
• EA-CCSP-wAR手法は、データアライメントと空間フィルタリング・分類におけるTLを統合しており、ベースラインのCSP-LDAに比べ21.29%の性能向上を示した。
• データアライメントはTL性能を顕著に向上させた：すべてのデータアライメントを含む手法が、それに対応する非アライメント手法を上回った。これは、ドメイン一貫性の向上に寄与するというその重要性を裏付けている。
• 複数コンポーネントにわたるTLの統合は相補的であり、両データセットおよび評価シナリオにおいて、マルチコンポーネントTLが単一コンポーネントTLを常に上回った。
• 非定常な被験者に対しても、本パイプラインは安定した性能を維持しており、セッション間でのEEG信号のばらつきに対処する有効性が示された。
• 結果から、TLは被験者間だけでなくセッション間BCI応用に対しても非常に有効であり、長時間のキャリブレーションの必要性を顕著に低減できることが明らかになった。