[論文レビュー] Bayesian Modelling in Practice: Using Uncertainty to Improve Trustworthiness in Medical Applications

David Ruhe, Giovanni Cinà+3 more|arXiv (Cornell University)|Jun 20, 2019

Machine Learning in Healthcare参考文献 17被引用数 4

ひとこと要約

本稿では、予測不確実性を定量化することで、医療機械学習における信頼性を向上させるために、重症ケアユニット（ICUs）におけるベイジアンニューラルネットワーク（BNNs）の使用を提案する。予測損失の解析的境界を導出し、MIMIC-IIIデータセットにBNNを適用することで、著者らは不確実性がドメイン外の患者—例えば新生児や民族的少数派—を信頼性高く特定できることを示した。それぞれで不確実性は230%および130%上昇し、誤った意思決定のリスクが低減された。

ABSTRACT

The Intensive Care Unit (ICU) is a hospital department where machine learning has the potential to provide valuable assistance in clinical decision making. Classical machine learning models usually only provide point-estimates and no uncertainty of predictions. In practice, uncertain predictions should be presented to doctors with extra care in order to prevent potentially catastrophic treatment decisions. In this work we show how Bayesian modelling and the predictive uncertainty that it provides can be used to mitigate risk of misguided prediction and to detect out-of-domain examples in a medical setting. We derive analytically a bound on the prediction loss with respect to predictive uncertainty. The bound shows that uncertainty can mitigate loss. Furthermore, we apply a Bayesian Neural Network to the MIMIC-III dataset, predicting risk of mortality of ICU patients. Our empirical results show that uncertainty can indeed prevent potential errors and reliably identifies out-of-domain patients. These results suggest that Bayesian predictive uncertainty can greatly improve trustworthiness of machine learning models in high-risk settings such as the ICU.

研究の動機と目的

• 予測不確実性を組み込むことで、高リスクなICU環境における機械学習の信頼性を向上させること。
• 決定論的モデルにおける分布外予測による壊滅的誤りのリスクに対処すること。
• ベイジアン不確実性が、まれなまたは未知の症候群や生命徴収の組み合わせを持つ患者を検出できるかどうかを実証すること。
• 不確実性と予測損失の関係を示す理論的境界を提示し、不確実性がリスクを軽減することを示すこと。
• ベイズ・バイ・バックプロップを用いて、実世界のICUデータを用いたBNNの評価を行い、決定論的モデルと性能を比較すること。

提案手法

• 著者らは、モデル重みの真の事後分布を近似するために変分推論を用いたベイジアンニューラルネットワーク（BNNs）を用い、不確実性の定量化を可能にする。
• 予測不確実性の観点から交差エントロピー損失の解析的境界を導出し、不確実性が高いほど高損失予測のリスクが低いことが示された。
• ドロップアウト率のハイパーパrameterチューニングを必要としないように、ベイズ・バイ・バックプロップを用いて重みの事後分布を直接推定する。
• 臨床的および血液検査データを用いて、MIMIC-IIIデータセット上でICU患者の死亡予測を学習する。
• ドメイン外検出は、訓練データに含まれない新生児および民族的少数派をテスト対象とし、不確実性の上昇を測定することで評価する。
• 性能は決定論的ランダムフォレストモデルと比較され、予測信頼度レベルごとの累積損失および不確実性のトレンドが分析された。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークから導出される予測不確実性は、ICU死亡予測における損失を制限・低減するために用いられ、予測損失を抑えられるか？
• RQ2 BNNは、新生児や代表されない民族的少数派のようなドメイン外患者を、不確実性の上昇によってどれほど効果的に検出できるか？
• RQ3 ベイズ・バイ・バックプロップは、臨床的ディープラーニング環境においてMCドロップアウトよりも信頼性の高い不確実性推定を提供するか？
• RQ4 実際のICUデータにおいて、予測不確実性と高損失エラーのリスクの間に測定可能な関係があるか？
• RQ5 BNNは、まれなまたは新しい患者プロファイルを特定するための安全装置として、臨床意思決定支援において機能するか？

主な発見

• 理論的境界により、予測不確実性が予測損失を軽減でき、不確実性が高いほど高損失エラーのリスクが低いことが示された。
• MIMIC-IIIデータセットにおいて、テストセットの予測損失は不確実性の上昇に伴い非線形的に上昇し、不確実性が高いとリスクが低いことが確認された。
• 新生児患者が提示された際、BNNは平均して不確実性を230%上昇させ、ドメイン外ケースの検出を示した。
• 代表されない民族的少数派集団に対して、BNNは不確実性を130%上昇させた（p < .0001）、まれな患者プロファイルの効果的検出を示した。
• 不確実性のキャリブレーションの観点から、BNNは決定論的ランダムフォレストを上回り、不確実な予測を信頼できる信号として提供した。
• 結果から、BNNは分類の目的だけでなく、精度が非ベイジアンモデルよりわずかに低い場合でも、主に不確実性出力を通じた安全装置としての用途に活用可能であることが示唆された。