[論文レビュー] Trust Issues: Uncertainty Estimation Does Not Enable Reliable OOD Detection On Medical Tabular Data

Dennis Ulmer, Lotta Meijerink+1 more|arXiv (Cornell University)|Nov 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 30被引用数 16

ひとこと要約

本研究では、実世界のICU患者データを用いた医療分類データにおける分布外（OOD）検出の不確実性推定手法を評価する。ベイジアンニューラルネットワークやアンサンブルモデルを含む多様な手法が検討されたが、臨床的関連性のあるシナリオにおいても、ほぼすべての手法がOOD患者を信頼性を持って検出できないことが判明し、高リスクな医療応用におけるモデルの信頼性の欠如が明らかになった。

ABSTRACT

When deploying machine learning models in high-stakes real-world environments such as health care, it is crucial to accurately assess the uncertainty concerning a model's prediction on abnormal inputs. However, there is a scarcity of literature analyzing this problem on medical data, especially on mixed-type tabular data such as Electronic Health Records. We close this gap by presenting a series of tests including a large variety of contemporary uncertainty estimation techniques, in order to determine whether they are able to identify out-of-distribution (OOD) patients. In contrast to previous work, we design tests on realistic and clinically relevant OOD groups, and run experiments on real-world medical data. We find that almost all techniques fail to achieve convincing results, partly disagreeing with earlier findings.

研究の動機と目的

• 不確実性推定手法が、実際の医療分類データにおいて分布外（OOD）患者を信頼性を持って検出できるかどうかを評価すること。
• 患者の人口統計的特徴、臨床プロトコルの変更、データの損傷といった臨床的関連性のあるOODシナリオを設計すること。
• 2つの大規模で実世界の混合型医療データセット（MIMIC-IIIとeICU）を用いて、不確実性推定手法をベンチマークすること。
• 良好にキャリブレーションされた不確実性推定が、医療AIにおける強力なOOD検出を意味するという仮定に疑問を呈すること。
• 今後の医療機械学習分野におけるOOD検出研究のためのオープンソースのベンチマークとテストスイートを提供すること。

提案手法

• 本研究では、クラスの不均衡が著しい大規模で実世界の混合型分類データセット2つ（MIMIC-IIIとeICU）を用いる。
• 緊急/緊急入院、選択的入院、臨床プロトコルが変更された患者などのサブグループを選択することで、臨床的関連性のあるOODグループを構築する。
• ベイジアンニューラルネットワーク（BBB）、モンテカルロドロップアウト、アンサンブル手法（例：アンカー付きアンサンブル）を含む多様な不確実性推定手法を評価する。
• 予測エントロピーなどの不確実性指標から得られる信頼度スコアを用いて、AUC-ROCやAUPRなどのOOD検出指標で各手法の性能を測定する。
• 臨床的OODシナリオを模擬するために、合成的摂動と実世界の分布シフトの両方を評価に組み込む。
• 異なるモデル間での不確実性推定を比較し、トロイの例を用いて意思決定境界の挙動を分析することで、失敗モードを解明する。

実験結果

リサーチクエスチョン

• RQ1 不確実性推定手法は、実際の医療分類データにおける分布外（OOD）患者を信頼性を持って検出できるか？
• RQ2 人工的な共変量シフト下で良好に動作する不確実性手法も、臨床的関連性のあるOODシナリオに一般化できるか？
• RQ3 ベイジアン手法、アンサンブル手法、ドロップアウトなど、異なる不確実性推定手法は、実際のEHRデータにおける多様なOODグループでどのように性能を発揮するか？
• RQ4 深層ニューラルネットワークは、インディストリビューションデータでは良好にキャリブレーションされているにもかかわらず、なぜOODサンプルに対して低信頼度の予測を出力できないのか？
• RQ5 モデルアーキテクチャやトレーニング正則化（例：アンカー付きアンサンブル）は、OOD検出性能にどの程度影響を与えるか？

主な発見

• 神経識別器の不確実性推定手法をすべて評価した結果、実世界の医療分類データにおいて、複数の臨床的関連性のあるOODシナリオにおいても、OODサンプルを信頼性を持って検出できなかった。
• 緊急/緊急入院群におけるOOD検出のAUC-ROCは約0.71〜0.74にとどまり、ランダムな推測よりもわずかに優れているにとどまる。
• ベイジアンニューラルネットワーク（BBB）のような良好な不確実性キャリブレーションを示すモデルですら、OOD検出が不十分であった。これは、トレーニングの不安定性やアンダーフィッティングが原因である可能性が高い。
• アンカー付きアンサンブルとBBBは、摂動実験において相対的に良好な性能を示した。これは、モデルの多様性と正則化が寄与している可能性がある。
• OOD患者を検出できない原因は、不確実性を事後に推定しても、ニューラルネットワークに大きな過信度の意思決定領域が存在することに起因している。
• 本研究では、重要な断絶が明らかになった：モデルがインディストリビューションデータでは良好にキャリブレーションされていても、OOD入力を特定できないため、臨床現場での導入に有害な予測を生じかねない。