[論文レビュー] Toward the application of XAI methods in EEG-based systems

Andrea Apicella, Francesco Isgrò+2 more|arXiv (Cornell University)|Oct 12, 2022

EEG and Brain-Computer Interfaces被引用数 10

ひとこと要約

本稿では、EEGベースの脳-コンピュータインターフェース（BCI）におけるデータセットシフト問題を、セッション間で一貫した関連信号成分を同定することで、説明可能なAI（XAI）手法が軽減できるかを調査している。感情認識データセットを用い、LRP、Integrated Gradients、DeepLIFTを適用した結果、サンプル固有のXAI解釈は分類に非常に効果的であるが、平均的関連スコアは一般化に失敗しており、BCIシステムにおけるセッション間一般化を向上させるために、セッションに配慮した特徴選択の必要性が示された。

ABSTRACT

An interesting case of the well-known Dataset Shift Problem is the classification of Electroencephalogram (EEG) signals in the context of Brain-Computer Interface (BCI). The non-stationarity of EEG signals can lead to poor generalisation performance in BCI classification systems used in different sessions, also from the same subject. In this paper, we start from the hypothesis that the Dataset Shift problem can be alleviated by exploiting suitable eXplainable Artificial Intelligence (XAI) methods to locate and transform the relevant characteristics of the input for the goal of classification. In particular, we focus on an experimental analysis of explanations produced by several XAI methods on an ML system trained on a typical EEG dataset for emotion recognition. Results show that many relevant components found by XAI methods are shared across the sessions and can be used to build a system able to generalise better. However, relevant components of the input signal also appear to be highly dependent on the input itself.

研究の動機と目的

• 信号の非定常性がモデルの一般化性能を低下させるEEGベースのBCIシステムにおけるセッション間データセットシフト問題に対処すること。
• XAI手法が異なるセッション間で安定的かつ関連性の高いEEG特徴を同定できるかを評価すること。
• XAIから得られる関連スコアが、標準的なトレーニングデータ分布を超えて一般化を向上させる特徴選択を可能にするかを調査すること。
• XAI解釈がセッション間で一貫しているのか、それとも非常にサンプル依存的であるのかを特定し、モデルの移行性に与える影響を評価すること。

提案手法

• 事前に訓練されたEEGベースの感情認識モデルに、Saliency、Guided Backpropagation、LRP、Integrated Gradients（IG）、DeepLIFTの複数のXAI手法を適用した。
• 特徴を関連性の高い順に削除した際の性能低下を測定することで、XAI解釈の信頼性を評価するため、Mean-Ordered Relevance Flattening（MoRF）曲線を用いた。
• 同一セッション内および異セッション間の解釈を比較し、同定された特徴の整合性と一般化可能性を評価した。
• MeRF、AOPC、ABPCの指標を用いて特徴の重要性を評価し、上位ランクの成分の判別力の有効性を検証した。
• 各サンプルのXAIスコアに基づき、最も関連性の高い成分のみを用いて縮小された入力信号を構築し、その分類性能をテストした。
• トレーニングセット全体における平均関連スコアを分析し、すべての入力に対して共通の特徴セットが一般化可能かどうかを評価した。

実験結果

リサーチクエスチョン

• RQ1 XAI手法は、BCIシステムにおけるデータセットシフトを軽減するために、異なるセッション間で一貫した関連EEG成分を同定できるか？
• RQ2 XAI解釈の信頼性と整合性は、同一セッション内と異セッション間でどのように異なるか？
• RQ3 平均関連スコアを用いた場合、XAIから得られる特徴ランク付けは、異なるEEGサンプル間でどの程度一般化されるか？
• RQ4 XAI手法が各サンプルごとに同定した最も関連性の高い成分を個別に使用した場合、分類性能が高く維持されるか？
• RQ5 XAI解釈を用いることで、ランダム選択や非情報に基づく特徴選択と比較して、セッション間EEG分類におけるモデル一般化が向上するか？

主な発見

• SaliencyおよびGuided Backpropagationに比べ、LRP、Integrated Gradients、DeepLIFTは、より信頼性が高く一貫性のあるXAI解釈を生成した。これらはしばしば関連するEEG成分を同定できなかった。
• 驚くべきことに、異セッション間の解釈が同一セッション内のものよりも信頼性が高かった。これは、モデルが異セッション状況下で入力の微小な摂動に対してより敏感であるためと推測される。
• トレーニング中における平均関連スコアを用いた場合、すべてのサンプルに対して一般化可能な一貫した関連特徴セットをXAI手法は同定できなかった。
• 平均関連スコアの順に特徴を削除した際、性能が著しく低下した（MoRFのオранジ色曲線）。これは、平均関連スコアが実際の判別力と一致していないことを示している。
• 各サンプルのXAIスコアに基づき、最も関連性の高い成分のみを用いた場合、分類性能は高い水準を維持した。これは、サンプル固有の解釈が極めて有効であることを示している。
• 平均関連スコアのMoRF、MeRF、AOPC、ABPC曲線とランダムベースラインの重複は、平均関連スコアが特徴選択において有用ではないことを示唆している。これに対して、サンプル固有の関連スコアは有用である。