[論文レビュー] Applying Transfer Learning To Deep Learned Models For EEG Analysis

Axel Uran, Coert van Gemeren+3 more|arXiv (Cornell University)|Jul 2, 2019

EEG and Brain-Computer Interfaces参考文献 24被引用数 18

ひとこと要約

本論文は、限られたラベル付きデータにおける脳波（EEG）信号分類のための転移学習アプローチを提案している。大規模データセットからの事前学習済み特徴を活用することで、少ないラベル付きデータでも性能を向上させる。BCI コンペティション IV 2a データセットでは、トップの従来の機械学習手法よりも33%の性能向上を達成し、2b データセットでは実験間転移学習により18%の性能向上を示した。これにより、被験者やタスクごとの最小限のデータでも堅牢な分類が可能になった。

ABSTRACT

The introduction of deep learning and transfer learning techniques in fields such as computer vision allowed a leap forward in the accuracy of image classification tasks. Currently there is only limited use of such techniques in neuroscience. The challenge of using deep learning methods to successfully train models in neuroscience, lies in the complexity of the information that is processed, the availability of data and the cost of producing sufficient high quality annotations. Inspired by its application in computer vision, we introduce transfer learning on electrophysiological data to enable training a model with limited amounts of data. Our method was tested on the dataset of the BCI competition IV 2a and compared to the top results that were obtained using traditional machine learning techniques. Using our DL model we outperform the top result of the competition by 33%. We also explore transferability of knowledge between trained models over different experiments, called inter-experimental transfer learning. This reduces the amount of required data even further and is especially useful when few subjects are available. This method is able to outperform the standard deep learning methods used in the BCI competition IV 2b approaches by 18%. In this project we propose a method that can produce reliable electroencephalography (EEG) signal classification, based on modest amounts of training data through the use of transfer learning.

研究の動機と目的

• 神経科学分野における限られたラベル付きEEGデータの課題に対処するため、深層学習モデルに転移学習を適用すること。
• わずかな量のトレーニングデータしかない状況でも、EEG信号分類の性能を向上させること。
• 被験者間および実験タスク間での知識移転を可能にする、イントラ実験的およびインタ実験的転移学習を検討すること。
• 最小限のデータで、従来の機械学習手法を上回る深層学習による運動想起EEG分類を実現すること。
• 転移可能な特徴表現を用いることで、異なるEEG実験やパラダイム間でのモデル再利用と一般化を可能にすること。

提案手法

• 大規模EEGデータセットで深層畳み込みニューラルネットワーク（CNN）を事前学習し、汎用的で低レベルの特徴を学習する。
• BCI コンペティション IV 2a および 2b の小さなターゲットデータセットに対して、転移学習戦略を用いて事前学習モデルを微調整する。
• 2つの転移学習バリエーションを実装する：「フリーズ学習」（初期層を固定）と「スプリット学習」（後段の層のみ微調整）で、限られたデータに最適化する。
• ある実験で事前学習し、別の実験で微調整することで、実験間転移学習を実装。クラス数が異なる場合でも可能である。
• 微調整時に過学習を抑えるために、データ拡張とドロップアウトを適用する。
• BCI コンペティションのデータセットからホールドアウトされたテストセットを用い、Cohenの kappa（κ）と正解率で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 限られたトレーニングデータで、転移学習がEEG分類における深層学習性能を向上させることができるか？
• RQ2 被験者間でのイントラ実験的転移学習（被験者間）は、運動想起タスクにおけるモデル一般化をどのように向上させるか？
• RQ3 異なる実験やタスク間でのインタ実験的転移学習（実験間）は、さらにデータ要件を低減できるか？
• RQ4 異なる転移学習戦略（例：フリーズ vs. スプリット学習）は、標準的な学習や分散学習と比較してどのように異なるか？
• RQ5 事前学習済みモデルは、異なるEEGパラダイムや運動想起クラス数に対しても、どの程度一般化可能か？

主な発見

• 提案された転移学習手法は、BCI コンペティション IV 2a のトップ結果よりもCohenのkappaスコアで33%高い性能を達成した。
• フリーズ学習が最も高い性能を示し、スプリット学習に次いで優れた性能を発揮した。これは、事前学習された層からの汎用的特徴の有効な再利用によるものである。
• 実験間転移学習により、2b データセットで標準的な深層学習アプローチと比較して18%の性能向上とデータ要件の低減が達成された。
• 標準的な転移学習は、4モードタスクで5%、2モードタスクで6%の性能向上を示したが、フリーズ学習やスプリット学習に比べて性能が劣った。
• 異なるクラス数を持つタスク間でも、運動想起タスク間での特徴の転送性が強く、高い汎用性を示した。
• 結果から、被験者や実験間で事前学習済みEEGモデルを共有することで、BCIアプリケーションにおける性能向上とデータ依存性の低減が顕著に可能であることが示唆された。