[論文レビュー] A Survey on Deep Learning-based Non-Invasive Brain Signals:Recent Advances and New Frontiers

Xiang Zhang, Lina Yao+4 more|arXiv (Cornell University)|May 10, 2019

EEG and Brain-Computer Interfaces参考文献 264被引用数 18

ひとこと要約

このサーベイは、非侵襲的脳信号解析における深層学習の最近の進展をレビューしており、EEG、fNIRS、fMRをカバーしている。脳信号の分類体系を提示し、自動特徴抽出および分類のための深層学習技術を評価するとともに、医療、BCI、ヒューマンコンピュータインタラクション分野における実世界の応用を強調している。一方で、リアルタイム処理、データ効率、ハードウェアの携帯性に関する主な課題も特定している。

ABSTRACT

Brain-Computer Interface (BCI) bridges the human's neural world and the outer physical world by decoding individuals' brain signals into commands recognizable by computer devices. Deep learning has lifted the performance of brain-computer interface systems significantly in recent years. In this article, we systematically investigate brain signal types for BCI and related deep learning concepts for brain signal analysis. We then present a comprehensive survey of deep learning techniques used for BCI, by summarizing over 230 contributions most published in the past five years. Finally, we discuss the applied areas, opening challenges, and future directions for deep learning-based BCI.

研究の動機と目的

• 非侵襲的脳信号およびその解析に用いられる深層学習モデルの包括的な分類体系を提供すること。
• 脳信号解読における特徴抽出および分類のための最先端の深層学習技術を要約すること。
• 補助技術および神経診断分野を含む、深層学習の脳信号解析における実世界の応用を特定すること。
• 実用的導入に向けたオンライン実装、データ効率、ハードウェアの携帯性に関する未解決の課題を強調すること。
• 非侵襲的脳信号の種別に応じて適切な深層学習アーキテクチャを選定するための研究者を支援すること。

提案手法

• EEG、fNIRS、fMRI、MEGを含む非侵襲的脳信号を、収集方法、信号特性、応用分野に基づいて分類する。
• エンドツーエンドの脳信号処理に適した、CNN、RNN、オートエンコーダ、Transformerなどのコアな深層学習アーキテクチャをレビューする。
• ノイズ除去、正規化、次元削減を含む信号前処理パイプラインを分析し、SNR（信号対雑音比）の向上を図る。
• 特徴表現の向上を目的とした、従来の信号処理と深層学習を組み合わせたハイブリッドモデルを評価する。
• 脳信号研究におけるラベル付きデータの不足という課題に対処するため、自己教師あり学習および半教師あり学習を検討する。
• リアルタイムシステムにおける精度と遅延のバランスを取るために、オンライン推論戦略および後処理技術（例：投票、集約）を検討する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、従来の機械学習手法と比較して、非侵襲的脳信号解析における特徴抽出および分類精度をどのように向上させるか？
• RQ2 EEG、fNIRS、fMRIなどの異なる種類の非侵襲的脳信号に対して、最も効果的な深層学習アーキテクチャは何か？
• RQ3 自己教師あり学習および半教師あり学習は、ラベル付きデータが限られる状況で、モデルの汎化性能をどのように向上させるか？
• RQ4 脳信号システムにおける深層学習モデルのリアルタイムオンライン実装の主な障壁は何か？
• RQ5 日常的利用を可能にするための、ポータブルでウェアラブルかつ使いやすい脳信号取得を実現するには、どのようなハードウェアの進歩が必要か？

主な発見

• 深層学習モデルは、手作業による特徴工学の依存度を低下させることで、従来の分類器よりも顕著に優れた性能を示している。
• 従来のパイプラインが時間領域、周波数領域、または時間周波数領域からの手作業特徴に依存するのに対し、エンドツーエンドの深層学習アプローチは、より高い分類精度を達成している。
• オンライン脳信号システムでは、ライブデータストリームにおけるノイズ増加と不安定性の影響により、オフライン処理と比較して性能が平均10%低下する傾向にある。
• 自己教師ありおよび非教師ありドメイン適応技術は、ラベル付きデータが不足する状況でもモデルの汎化性能を向上させる可能性を示している。
• 耳に装着するEEGセンサーは、ウェアラブルで快適かつポータブルな脳信号取得のための有望な分野ではあるが、まだ十分に開発が進んでいない。
• 投票や集約などの後処理手法は、オンラインデコーディング性能を向上させることができるが、遅延を引き起こすため、速度と精度のトレードオフを考慮する必要がある。