[論文レビュー] Evaluation of Interpretability for Deep Learning algorithms in EEG Emotion Recognition: A case study in Autism

Juan Manuel Mayor Torres, Sara Medina-DeVilliers+3 more|arXiv (Cornell University)|Nov 25, 2021

EEG and Brain-Computer Interfaces被引用数 10

ひとこと要約

本研究は、自閉症スペクトラム症候群（ASD）を有する者および健常者におけるEEGベースの顔の感情認識における畳み込みニューラルネットワーク（CNN）を解釈するための説明可能なAI（XAI）手法を評価する。新規のRemOve-And-Retrain（ROAR）手法を用いて、LRP-B、PatternNet、Pattern-Attributionが最も信頼性の高いXAI手法であることが特定され、ASDにおいては500–1500msの遅延時間帯に特徴的な神経的関連性パターンが明らかになった。このパターンは、感情認識の神経的接続性の変化と整合的であり、行動的欠損にもかかわらず感情符号化が保持されていることを確認する。

ABSTRACT

Current models on Explainable Artificial Intelligence (XAI) have shown an evident and quantified lack of reliability for measuring feature-relevance when statistically entangled features are proposed for training deep classifiers. There has been an increase in the application of Deep Learning in clinical trials to predict early diagnosis of neuro-developmental disorders, such as Autism Spectrum Disorder (ASD). However, the inclusion of more reliable saliency-maps to obtain more trustworthy and interpretable metrics using neural activity features is still insufficiently mature for practical applications in diagnostics or clinical trials. Moreover, in ASD research the inclusion of deep classifiers that use neural measures to predict viewed facial emotions is relatively unexplored. Therefore, in this study we propose the evaluation of a Convolutional Neural Network (CNN) for electroencephalography (EEG)-based facial emotion recognition decoding complemented with a novel RemOve-And-Retrain (ROAR) methodology to recover highly relevant features used in the classifier. Specifically, we compare well-known relevance maps such as Layer-Wise Relevance Propagation (LRP), PatternNet, Pattern-Attribution, and Smooth-Grad Squared. This study is the first to consolidate a more transparent feature-relevance calculation for a successful EEG-based facial emotion recognition using a within-subject-trained CNN in typically-developed and ASD individuals.

研究の動機と目的

• ASDおよび健常発達者におけるEEGベースの顔の感情認識のための深層学習モデルを解釈するための最新XAI手法の信頼性を評価すること。
• ノイズが多く、統計的に混同されたEEGデータに適用された深層学習モデルにおける信頼できる特徴の重要度推定の欠如を是正すること。
• EEGベースの感情解釈において、強固で解釈可能な特徴を同定するための新規なRemOve-And-Retrain（ROAR）フレームワークの開発および検証すること。
• 行動認識障害が見られるにもかかわらず、ASDにおける顔の感情の神経的表現が単一試行レベルで保持されているかどうかを調査すること。
• EEGデータを用いた臨床的神経画像診断応用におけるXAI手法の評価に向け、透明性があり再現可能なパイプラインを確立すること。

提案手法

• EEGデータの2次元画像表現を、時間軸を列、チャネルを行として縦にスタックすることで構築し、2次元CNNへの直接入力が可能になるようにする。
• 特徴の重要度解釈のためのサリエンシーマップを生成するために、4つのXAI手法（Layer-Wise Relevance Propagation（LRP）、PatternNet、Pattern-Attribution、Smooth-Grad Squared）を適用する。
• 特徴の重要度順に並べた上位特徴を繰り返し削除し、モデルを再訓練することで分類精度への影響を評価するRemOve-And-Retrain（ROAR）手法を用い、最も信頼性の高いXAI手法を同定する。
• ROARを健常発達（TD）およびASD参加者に適用し、両群間での特徴重要度とモデルの頑健性を比較する。
• 特に500–1500msの遅延時間帯に注目し、試行および時間窓ごとの重要度パターンの一貫性を評価するための確信度分析を実施する。
• XAIの実装にはiNNvestigateパッケージを用い、メソドロジーの厳密性と再現可能性を確保するため、Google Brainと広範な共同作業を実施した。

実験結果

リサーチクエスチョン

• RQ1 TDおよびASD集団におけるEEGベースの顔の感情認識のためのXAI手法の中で、どの手法が最も信頼性があり一貫性のある特徴の重要度マップを生成するか？
• RQ2 顔の感情解釈の過程で、TDとASD個体との間でEEG特徴の重要度パターンにどのような差が生じるか、特に遅延時間帯（500–1500ms）に注目して。
• RQ3 ROAR手法は、ノイズの多いEEGデータに訓練された深層学習モデルにおいて、真に関連する特徴をどれほど効果的に特定できるか？
• RQ4 行動的認識障害が見られるにもかかわらず、ASDにおける顔の感情の神経的表現に、単一試行レベルで保存された特徴的な神経的表現が存在するか？
• RQ5 ROARとXAI手法を統合することで、臨床的EEG応用における深層学習モデルの解釈をより透明かつ信頼性のあるものにできるか？

主な発見

• ROAR評価により、LRP-B、PatternNet、Pattern-Attributionが最も信頼性の高いXAI手法であることが特定された。これは、上位50％以上の重要特徴を削除した際に顕著な精度低下を示したためである。
• TDとASD個体との間で、刺激後500–1500msの時間窓に顕著な重要度パターンの差が観察された。特に、最も信頼性の高いXAI手法において顕著であった。
• ASDにおける遅延時間帯の重要度パターンは、感情処理時の神経的接続性の既知の変化と整合的であり、感情符号化が保持されているが、異なる組織化の仕方をしている可能性を示唆している。
• CNNパイプラインは、TDおよびASD参加者両方において、EEGデータから顔の感情を正確に解釈できた。これは、ASDにおいても単一試行レベルで感情の神経的表現が保持されていることを確認するものである。
• ROARの使用により、正確な感情分類に不可欠な一貫性があり特徴的なEEG特徴のセットが同定された。これにより、モデルの透明性が向上した。
• 本研究は、EEGベースの深層学習におけるXAI手法の評価の新しいベンチマークを確立した。ROARが臨床的神経画像診断における、信頼できると偽の重要度マップを効果的に区別できることを示した。