[论文解读] Evaluating Latent Space Robustness and Uncertainty of EEG-ML Models under Realistic Distribution Shifts

Neeraj Wagh, Jionghao Wei+3 more|ArXiv.org|Sep 22, 2022

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本文提出了一种多维度框架，用于在开发阶段评估脑电图（EEG）机器学习模型在现实世界中的鲁棒性，通过四种受仪器启发的数据分布偏移（带通滤波、量化、窄带噪声和宽带噪声）来评估潜在空间完整性（基于Delaunay邻域图）和预测不确定性（基于蒙特卡洛Dropout）。主要贡献在于证明，这些指标比仅依赖任务准确率更能提前预测分布外性能的退化；全监督编码器在性能上表现更优，但鲁棒性较低，相较于自监督和传统特征编码器表现更差。

ABSTRACT

The recent availability of large datasets in bio-medicine has inspired the development of representation learning methods for multiple healthcare applications. Despite advances in predictive performance, the clinical utility of such methods is limited when exposed to real-world data. This study develops model diagnostic measures to detect potential pitfalls before deployment without assuming access to external data. Specifically, we focus on modeling realistic data shifts in electrophysiological signals (EEGs) via data transforms and extend the conventional task-based evaluations with analyses of a) the model's latent space and b) predictive uncertainty under these transforms. We conduct experiments on multiple EEG feature encoders and two clinically relevant downstream tasks using publicly available large-scale clinical EEGs. Within this experimental setting, our results suggest that measures of latent space integrity and model uncertainty under the proposed data shifts may help anticipate performance degradation during deployment.

研究动机与目标

• 为解决在缺乏外部数据的情况下，部署前评估脑电图-机器学习模型在现实世界数据分布偏移下的鲁棒性方面的空白。
• 开发基于领域知识的数据变换方法，以反映脑电信号采集中的真实仪器变异性。
• 通过三个互补的视角评估模型鲁棒性：任务性能、潜在空间拓扑完整性与预测不确定性。
• 证明这些诊断指标能比仅依赖任务准确率更有效地预测真实世界中的性能退化。

提出的方法

• 提出了四种真实的脑电图数据分布偏移：(1) 1–25 Hz 带通滤波，(2) 降低量化精度，(3) 窄带阻抗噪声，(4) 宽带高斯噪声。
• 开发了一种基于Delaunay邻域图的潜在空间完整性拓扑度量方法，用于检测扰动下的结构变化。
• 应用蒙特卡洛Dropout以估计预测不确定性，实现不确定性感知的模型解释。
• 在两个下游任务（脑电图等级分类与脑龄回归）中，评估了三种脑电图特征编码器——全监督编码器（FSE）、自监督编码器（SSE）与基于功率谱密度的编码器（PSDE）。
• 使用两个大规模公开脑电图数据集（TUH 与 NMT）在多样化临床数据上验证该框架。
• 将潜在空间完整性与不确定性的变化与数据分布偏移下的任务性能相关联，以识别鲁棒性模式。

实验结果

研究问题

• RQ1 与仪器相关的数据分布偏移是否能真实模拟现实世界中的脑电图变异性，并预测模型在实际部署中的失效？
• RQ2 在真实数据分布偏移下，不同脑电图特征编码器（FSE、SSE、PSDE）在潜在空间完整性与预测不确定性方面有何差异？
• RQ3 潜在空间完整性与预测不确定性在多大程度上与保留测试集上的分布外性能相关？
• RQ4 当缺乏真实标签时，不确定性与潜在空间结构的度量能否作为模型失效的早期指示？

主要发现

• 1–25 Hz 带通滤波与强宽带噪声（σ=0.1）对潜在空间完整性与任务性能的影响最为显著，尤其在脑龄回归任务中。
• 全监督编码器（FSE）在绝对任务性能上表现最佳，但在数据分布偏移下鲁棒性最差，表现为不确定性与潜在空间结构破坏的微小增加。
• 自监督（SSE）与基于功率谱（PSDE）的编码器在各类偏移下表现出更稳定的性能，表明其具有更好的泛化能力，尽管绝对准确率较低。
• 通过Delaunay邻域图拓扑结构测量的潜在空间完整性与分布外性能具有强相关性，表明其作为诊断工具具有重要价值。
• 预测不确定性仅在最强宽带噪声（σ=0.1）下显著增加，表明对较温和偏移的敏感性有限，但其在故障检测中仍具信息量。
• 潜在空间分析与不确定性量化相结合，其预测真实世界性能退化的能力优于仅依赖任务准确率。