[論文レビュー] A Survey on Deep Learning based Brain Computer Interface: Recent Advances and New Frontiers

Xiang Zhang, Lina Yao+3 more|arXiv (Cornell University)|Jan 1, 2018

EEG and Brain-Computer Interfaces被引用数 142

ひとこと要約

本サーベイは、脳-コンピュータインターフェース（BCI）におけるディープラーニング技術について包括的な分析を提供しており、2018年から2023年までの間の230件以上の最新研究を、脳信号の種別、ディープラーニングアーキテクチャ、BCIアプリケーションの観点からレビューしている。神経信号のデコードに向けた実世界のBCIシステムにおける主な進展、未解決の課題、そして新たなフロンティアを特定している。

ABSTRACT

Brain-Computer Interface (BCI) bridges the human's neural world and the outer physical world by decoding individuals' brain signals into commands recognizable by computer devices. Deep learning has lifted the performance of brain-computer interface systems significantly in recent years. In this article, we systematically investigate brain signal types for BCI and related deep learning concepts for brain signal analysis. We then present a comprehensive survey of deep learning techniques used for BCI, by summarizing over 230 contributions most published in the past five years. Finally, we discuss the applied areas, opening challenges, and future directions for deep learning-based BCI.

研究の動機と目的

• 脳-コンピュータインターフェース（BCI）システムにおけるディープラーニング応用の進化と現在の状態を体系的にレビューすること。
• BCIで用いられる脳信号種別（例：EEG、fMRI、ECoG）の多様性と、それらがディープラーニングモデルとどのように適合するかを分析すること。
• 神経信号デコードに最も効果的であるとされるディープラーニングアーキテクチャおよび技術を特定・分類すること。
• 補助技術およびニューロプロステティクスを含む、ディープラーニングベースBCIの主な応用分野を強調すること。
• BCI性能、耐障害性、臨床応用への移行を改善するための、未解決の課題と今後の研究方向性を概説すること。

提案手法

• 過去5年間（2018–2023年）に、主要なBCIおよび機械学習会議で公開された230件以上の査読済み論文を対象とした体系的文献レビューを実施すること。
• 信号モality（例：EEG、fMRI、ECoG）に基づいてBCIシステムを分類し、それぞれのモダリティに特化したディープラーニングモデルのパフォーマンスを評価すること。
• BCI環境下での畳み込みニューラルネットワーク（CNNs）、再帰的ニューラルネットワーク（RNNs）、トランスフォーマー、およびそれらのハイブリッドバージョンを含むディープラーニングアーキテクチャを調査・比較すること。
• さまざまなBCIアプリケーションにおいて、モデルの解釈可能性、一般化性能、リアルタイム推論能力を分析すること。
• 研究の進化に伴うモデルの複雑さ、データ効率、パフォーマンス指標（例：分類精度、情報伝送レート）の推移をマッピングすること。
• 限られたラベル付き神経データに対処するためのデータ増強、トランスファー学習、ドメイン適応技術のトレンドを統合的に分析すること。

実験結果

リサーチクエスチョン

• RQ1 どのディープラーニングアーキテクチャが、異なるBCIモダリティにおいて神経信号をデコードする際に最高のパフォーマンスを示したか？
• RQ2 最近のモデルアーキテクチャおよびトレーニング戦略の進展は、BCIシステムの精度と耐障害性をどのように向上させたか？
• RQ3 ディープラーニングベースBCIの最も顕著な応用分野は何か？また、達成されたパフォーマンスベンチマークは何か？
• RQ4 データの入手制限、モデルの一般化性、リアルタイムデプロイメントの面で、臨床応用を阻害する主な制限要因は何か？
• RQ5 BCIにおけるディープラーニングの今後の発展を形作る、新たな研究分野と未解決の課題は何か？

主な発見

• 特にCNNとトランスフォーマーが、EEGベースBCIシステムにおける分類精度を顕著に向上させ、ベンチマークデータセットで90％を超える精度を達成する最先端のモデルが存在する。
• CNNとRNNを組み合わせたハイブリッドアーキテクチャは、運動イメージネーションやP300スクリーナー課題において、空間的および時間的特徴を効果的に捉えることができ、優れたパフォーマンスを示している。
• 自己教師あり学習およびコントラスト学習手法が、BCI応用においてラベル付きデータが限られる状況でもモデルの一般化性能を向上させる有効な解決策として登場している。
• トランスフォーマーとアテンション機構は、神経時系列データにおける長距離依存性をモデル化する上で有望な成果を示しており、一部の高次元BCIタスクではRNNを上回っている。
• パフォーマンスの向上にもかかわらず、モデルの解釈可能性、被験者間のドメインシフト、特にウェアラブルおよびインプラント型BCIシステムにおけるリアルタイム推論効率の面で、依然として課題が残っている。
• ディープラーニングを用いたマルチモodalデータ統合（例：EEG-fMRI統合）は、デコード精度と神経生理学的洞察の両方を向上させる可能性を秘めた新たなフロンティアである。