[論文レビュー] Evaluating Latent Space Robustness and Uncertainty of EEG-ML Models under Realistic Distribution Shifts

Neeraj Wagh, Jionghao Wei+3 more|ArXiv.org|Sep 22, 2022

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本稿では、開発段階におけるEEG機械学習モデルの現実世界におけるロバストネスを評価するためのマルチアプローチフレームワークを提案する。4つの機器由来のデータシフト（バンドパスフィルタリング、量子化、狭帯域ノイズ、広帯域ノイズ）を用い、デローニー近傍グラフを用いた潜在空間の整合性とモンテカルロドロップアウトを用いた予測不確実性を評価することで、潜在空間の整合性を検証する。主な貢献は、これらの指標がタスク精度のみに依存するよりも、分布外性能の劣化をよりよく予測できることを示したことである。完全に教師ありのエンコーダーは高い性能を示すが、自己教師ありおよび従来の特徴エンコーダーと比較してロバスト性が低いことが明らかになった。

ABSTRACT

The recent availability of large datasets in bio-medicine has inspired the development of representation learning methods for multiple healthcare applications. Despite advances in predictive performance, the clinical utility of such methods is limited when exposed to real-world data. This study develops model diagnostic measures to detect potential pitfalls before deployment without assuming access to external data. Specifically, we focus on modeling realistic data shifts in electrophysiological signals (EEGs) via data transforms and extend the conventional task-based evaluations with analyses of a) the model's latent space and b) predictive uncertainty under these transforms. We conduct experiments on multiple EEG feature encoders and two clinically relevant downstream tasks using publicly available large-scale clinical EEGs. Within this experimental setting, our results suggest that measures of latent space integrity and model uncertainty under the proposed data shifts may help anticipate performance degradation during deployment.

研究の動機と目的

• 展開前に外部データが入手できない状況下でも、現実のデータシフトに対するEEG-MLモデルのロバストネスを評価するギャップを埋める。
• EEG取得における現実的な機器のばらつきを反映するドメインガイドドのデータ変換を開発する。
• タスクパフォーマンス、潜在空間の位相的整合性、予測不確実性という3つの補完的視点からモデルのロバストネスを評価する。
• これらの診断指標が、タスク精度のみに依存するよりも、実世界での性能劣化をより効果的に予測できることを示す。

提案手法

• 現実的なEEGデータシフトを4つ提案：(1) 1–25 Hz バンドパスフィルタリング、(2) 量子化精度の低下、(3) 狭帯域インピーダンスノイズ、(4) 広帯域ガウスノイズ。
• デローニー近傍グラフを用いた潜在空間の整合性の位相的測定法を開発し、摂動下での構造的変化を検出する。
• モンテカルロドロップアウトを適用して予測不確実性を推定し、不確実性を考慮したモデル解釈を可能にする。
• 2つの下流タスク（EEGグレード分類と脳年齢レジレッション）を対象に、完全に教師あり（FSE）、自己教師あり（SSE）、パワースペクトル密度に基づく（PSDE）の3種類のEEG特徴エンコーダーを評価。
• 2つの大規模な公開EEGデータセット（TUH および NMT）を用いて、多様な臨床データ上でフレームワークの有効性を検証。
• データシフト下での潜在空間の整合性と不確実性の変化をタスクパフォーマンスと相関させ、ロバストネスのパターンを同定。

実験結果

リサーチクエスチョン

• RQ1 機器関連のデータシフトは、現実のEEG変動を現実的に模倣でき、展開時のモデル失敗を予測できるか？
• RQ2 異なるEEG特徴エンコーダー（FSE, SSE, PSDE）は、現実的なデータシフト下で、潜在空間の整合性と予測不確実性においてどのように異なるか？
• RQ3 潜在空間の整合性と予測不確実性は、ホールドアウトテストセットにおける分布外性能とどの程度相関するか？
• RQ4 真値が入手できない状況でも、不確実性と潜在空間構造の測定値は、モデルの失敗の早期予兆として機能するか？

主な発見

• 1–25 Hz バンドパスフィルタリングと強い広帯域ノイズ（σ=0.1）が、潜在空間の整合性とタスクパフォーマンスの両方に対して顕著な悪影響を及ぼし、特に脳年齢レジレッションタスクで顕著であった。
• 完全に教師ありエンコーダー（FSE）は最高の絶対的タスクパフォーマンスを達成したが、データシフト下でのロバストネスが最も低く、不確実性と潜在空間の破壊がわずかに増加した。
• 自己教師あり（SSE）およびパワースペクトル（PSDE）エンコーダーは、シフトに対してより安定したパフォーマンスを示し、絶対的精度は低かったものの、より優れた一般化性能を示した。
• デローニー近傍グラフの位相的トポロジーを用いた潜在空間の整合性測定値は、分布外性能と強く相関しており、診断ツールとしての価値が示された。
• 予測不確実性は、唯一強い広帯域ノイズ（σ=0.1）の条件下でのみ顕著に増加したが、これはやや弱いシフトには感度が低く、失敗検出には依然として有用であった。
• 潜在空間解析と不確実性の定量化の組み合わせが、タスク精度のみに依存するよりも、現実世界の性能劣化をより効果的に予測できた。