[論文レビュー] An Effective Entropy-assisted Mind-wandering Detection System with EEG Signals based on MM-SART Database

Yi-Ta Chen, Hsing-Hao Lee+5 more|arXiv (Cornell University)|May 25, 2020

Mind wandering and attention参考文献 37被引用数 5

ひとこと要約

本稿では、新規のMM-SARTデータベースからのエントロピー補助特徴を用いたEEGベースの心外れ検出システムを提案する。チャネルおよび特徴選択を経てランダムフォレスト分類によりAUC 0.725を達成した。システムは、2つの主要なEEGチャネルの選択と相関に基づく特徴削除を適用することで、計算負荷を低減し、リアルタイムのリモート学習応用における効率性と正確性を向上させた。

ABSTRACT

Mind-wandering (MW), which usually defined as a lapse of attention, occurs between 20%-40% of the time, has negative effects on our daily life. Therefore, detecting when MW occurs can prevent us from those negative outcomes resulting from MW, such as failing to keep track of course during learning. In this work, we first collect a multi-modal Sustained Attention to Response Task (MM-SART) database for detecting MW. Eighty-two participants' data are collected in our experiments. For each participant, we collect measures of 32-channels electroencephalogram (EEG) signals, photoplethysmography (PPG) signals, galvanic skin response (GSR) signals, eye tracker signals, and several questionnaires for detailed analyses. Then, we propose an effective MW detection system based on the collected EEG signals. To explore the non-linear characteristics of EEG signals, we utilize the entropy-based features in time, frequency, and wavelet domains. The experimental results show that we can reach 0.712 AUC score by using the random forest (RF) classifier with the leave-one-subject-out cross-validation. Moreover, to lower the overall computational complexity of the MW detection system, we apply techniques of channel selection and feature selection. By using the only two most significant EEG channels, we can reduce the training time of the classifier by 44.16%. By performing correlation importance feature elimination (CIFE) on the feature set, we can further improve the AUC score to 0.725 but with only 14.6% of the selection time compared with the recursive feature elimination (RFE) method. By proposing the MW detection engine, current work can be applied to educational scenarios, especially in the era of remote learning nowadays.

研究の動機と目的

• EEG信号を用いた効果的で計算的に効率的な心外れ検出システムの開発。
• 82名の参加者を対象とした新規のマルチモーダルMM-SARTデータベースの収集と活用による、強固なMW分析の実現。
• 時間領域、周波数領域、ウェーブレット領域におけるエントロピー特徴を用いたEEG信号の非線形ダイナミクスの探求。
• EEGチャネルおよび特徴選択を用いた計算複雑性の低減、検出性能の損なわれない維持。
• 最適化されたリアルタイム検出により、リモート学習環境における実用的導入を可能にする。

提案手法

• MM-SARTタスクを用いて、82名の参加者から32チャネルのEEG、PPG、GSR、眼動測定、アンケートデータを収集した。
• 時間領域、周波数領域、ウェーブレット領域におけるEEG信号からエントロピー特徴を抽出し、非線形ダイナミクスを捉えた。
• 心外れ検出にため、ラウンドロビン・フォレスト分類器を用い、1人を除いた交差検証（leave-one-subject-out）を実施した。
• 訓練時間を短縮するためEEGチャネル選択を実施し、最も重要な2つのチャネルのみを保持した。
• 相関に基づく特徴削除（CIFE）を用いて特徴選択を実施し、RFEに比べて選択時間を14.6％に削減しながらAUCを向上させた。
• 現実の教育的環境における低遅延デプロイメントを最適化した検出エンジンを構築した。

実験結果

リサーチクエスチョン

• RQ1 時間領域、周波数領域、ウェーブレット領域における多領域EEG信号からのエントロピー特徴は、心外れ発作を効果的に検出できるか？
• RQ2 チャネル選択は、心外れ検出システムの計算効率と性能にどのように影響するか？
• RQ3 CIFEは、計算コストを低減しつつ、RFEを上回る性能を示せるか？
• RQ4 提案されたシステムは、最小限のEEGチャネルおよび特徴で高い正確性を維持できるか？
• RQ5 本システムは、リモート学習環境においてリアルタイムの注意状態モニタリングが可能に実用的に導入できるか？

主な発見

• 提案されたシステムは、すべてのEEGチャネルと特徴を用いたラウンドロビン・フォレスト分類器により、AUC 0.712を達成した。
• 最も重要な2つのEEGチャネルのみを選択することで、訓練時間を44.16％短縮したが、性能に顕著な損失は見られなかった。
• CIFEを用いた特徴選択により、AUCが0.725に向上し、ベースライン手法を上回った。
• CIFEは、再帰的特徴削除（RFE）に比べて、特徴選択時間を14.6％にまで短縮した。
• 最適化されたシステムにより、低遅延でリアルタイムの心外れ検出が可能となり、リモート学習応用に適したものとなった。
• MM-SARTデータベースは、今後の注意状態および認知状態に関する研究のための豊富なマルチモーダルデータセットを提供する。