[論文レビュー] Capsule Attention for Multimodal EEG and EOG Spatiotemporal Representation Learning with Application to Driver Vigilance Estimation

Guangyi Zhang, Sadegh Etemad|arXiv (Cornell University)|Dec 17, 2019

EEG and Brain-Computer Interfaces参考文献 29被引用数 17

ひとこと要約

本稿では、ドライバーの警覚状態推定のためのマルチモodalなEEGおよびEOG信号解析に、キャプセルアテンションを統合したLSTMアーキテクチャを提案する。キャプセルネットワークにおける動的ルーティングとLSTMによる時系列モデリングを統合することで、階層的な時空間的依存関係を捉え、警覚分類において最先端の性能を達成する。

ABSTRACT

Driver vigilance estimation is an important task for transportation safety. Wearable and portable brain-computer interface devices provide a powerful means for real-time monitoring of the vigilance level of drivers, thus help with avoiding distracted or impaired driving. In this paper, we propose a novel multimodal architecture for in-vehicle vigilance estimation from Electroencephalogram and Electrooculogram. However, most current works in the area lack an effective framework for learning the part-whole relationships within the data and learning useful spatiotemporal representations. To tackle this problem and other issues associated with multimodal biological signal analysis, we propose an architecture composed of a capsule attention mechanism following a deep Long Short-Term Memory (LSTM) network. Our model learns both temporal and hierarchical/spatial dependencies in the data through the LSTM and capsule feature representation layers. To better explore the discriminative ability of the learned representations, we study the effect of the proposed capsule attention mechanism including the number of dynamic routing iterations as well as other parameters. Experiments show the robustness of our method by outperforming other solutions and baseline techniques, setting a new state-of-the-art.

研究の動機と目的

• マルチモダルなEEGおよびEOG信号における部分-全体関係の有効なモデリングの欠如を解消すること。
• 脳および目動作品の信号における時間的ダイナミクスと階層的な空間的依存関係を捉える、強固な時空間的表現を学習すること。
• 動的ルーティングの反復回数を含む、キャプセルアテンションメカニズムのパラメータが表現品質および分類性能に与える影響を調査すること。
• リアルタイムの車載警覚監視に効果的に統合できる、EEGおよびEOGモダリティを統合する統一アーキテクチャの開発すること。

提案手法

• 時系列的なEEGおよびEOG信号における時間的依存関係をモデル化するために、深層長短期記憶（LSTM）ネットワークを採用する。
• LSTMの後にキャプセルアテンションメカニズムを統合し、階層的な特徴表現を学習し、データ内の部分-全体関係を捉える。
• キャプセル層における動的ルーティングを適用することで、アテンションに類似した特徴変換を可能にし、判別性の高い表現学習を向上させる。
• ルーティングの反復回数やその他のハイパーパramータがモデル性能に与える影響を分析することで、キャプセルアテンションメカニズムの最適化を行う。
• キャプセルネットワークを通じてマルチモーダルなEEGおよびEOG特徴を統合し、警覚分類のための表現学習を強化する。
• ラベル付きの警覚データを用いた教師あり学習により、エンドツーエンドのモデルを訓練し、ドライバーのアラートレベルを予測する。

実験結果

リサーチクエスチョン

• RQ1 標準的なアテンションまたはプーリング層と比較して、キャプセルアテンションメカニズムは、マルチモーダルなEEGおよびEOG信号における階層的および空間的関係をどの程度効果的に捉えられるか？
• RQ2 キャプセルネットワークにおける動的ルーティングの反復回数が、学習された表現の品質および分類精度に与える影響は何か？
• RQ3 提案されたマルチモーダルアーキテクチャは、既存の最先端手法と比較して、警覚状態推定性能をどの程度向上させるか？
• RQ4 LSTMとキャプセルアテンションの統合により、生物学的信号における時間的ダイナミクスと空間的階層を共同でモデリングし、表現学習を改善できるか？

主な発見

• 提案されたキャプセルアテンション-LSTMモデルは、既存のベースライン手法を上回る性能を示し、ドライバーの警覚状態推定において新たな最先端性能を達成した。
• キャプセルアテンションメカニズムは、マルチモーダルなEEGおよびEOGデータから判別性の高い時空間的表現を学習する能力を顕著に向上させた。
• キャプセル層における動的ルーティングの反復回数は、モデル性能に顕著な影響を及ぼし、最適な設定により分類精度が向上した。
• LSTMとキャプセルネットワークの統合により、脳および目動作品の信号における時間的シーケンスと階層的な空間的構造の両方を効果的にモデリングできた。
• 本モデルは、異なるデータ分割や条件下でも堅牢な性能を示し、実世界の車載警覚監視アプリケーションにおける優れた汎化能力を示した。