[論文レビュー] Exploiting Uncertainties from Ensemble Learners to Improve Decision-Making in Healthcare AI

Yingshui Tan, Baihong Jin+3 more|arXiv (Cornell University)|Jul 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 34被引用数 6

ひとこと要約

本論文は、特に前駆性糖尿病網膜症の検出において、意思決定の向上を目的として、アンサンブル分散よりもアンサンブル平均を優れた不確実性指標として使用することを提案する。理論的分析と実世界のデータセットを用いた実証的検証により、アンサンブル平均は分散よりも誤って陰性と分類されるケース（偽陰性）をより効果的に低減でき、最小限の再検査負荷でより良い人間-AI連携を実現できることを示している。

ABSTRACT

Ensemble learning is widely applied in Machine Learning (ML) to improve model performance and to mitigate decision risks. In this approach, predictions from a diverse set of learners are combined to obtain a joint decision. Recently, various methods have been explored in literature for estimating decision uncertainties using ensemble learning; however, determining which metrics are a better fit for certain decision-making applications remains a challenging task. In this paper, we study the following key research question in the selection of uncertainty metrics: when does an uncertainty metric outperforms another? We answer this question via a rigorous analysis of two commonly used uncertainty metrics in ensemble learning, namely ensemble mean and ensemble variance. We show that, under mild assumptions on the ensemble learners, ensemble mean is preferable with respect to ensemble variance as an uncertainty metric for decision making. We empirically validate our assumptions and theoretical results via an extensive case study: the diagnosis of referable diabetic retinopathy.

研究の動機と目的

• 高リスクの早期疾患（高不確実性を伴う初期段階の疾患）を誤診してしまう問題に対処すること。
• アンサンブル学習を用いた医療診断の文脈において、一般的に用いられる2つの不確実性指標（アンサンブル平均とアンサンブル分散）を比較し、理論的に分析すること。
• 実世界の症例研究（重症度あり糖尿病網膜症）を用いて、理論的知見を実証的に検証すること。
• 不確実な陰性予測を特定し、専門家による再評価の対象とする仕組みを用いて、人間-AI連携を改善し、偽陰性を最小限に抑えること。

提案手法

• 著者らは、人間-AI連携の枠組みを定義し、アンサンブルによって陰性と分類されたが実際には偽陰性である可能性の高い例を不確実性が高いとみなして、人間による再レビューの対象にリストアップする。
• 偽陰性の可能性が高いとされる陰性例をランク付けする不確実性指標として、モデル予測のアンサンブル平均を提案する。
• この手法をアンサンブル分散および平均＋分散の組み合わせ指標と比較し、人間によるレビュー負荷を制御するためのしきい値ベースの不確実な陰性例の割合（q%）を用いる。
• 糖尿病網膜症データセットを用い、3つのアンサンブル手法（スタッキングアンサンブル、MCドロップアウト、テスト時増強（TTA））でこの手法を評価する。
• 不確実性に基づく意思決定の有効性を測る指標として、偽陰性の割合を示す「偽陰性適合率（FNP）」を用いる。
• やや緩い仮定の下で理論的分析を行い、偽陰性の特定にあたってアンサンブル平均がアンサンブル分散よりも優れていることが示された。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル学習を用いた医療AIの文脈において、不確実性指標が他の指標を上回る条件は何か？
• RQ2 前駆性疾患の診断において、偽陰性を特定するうえで、アンサンブル平均はアンサンブル分散を上回る不確実性指標であるか？
• RQ3 スタッキング、MCドロップアウト、TTAといった異なるアンサンブル手法は、不確実性指標を用いて前駆性疾患を検出する能力においてどのように異なるか？
• RQ4 不確実性に基づく人間-AI連携によって、再検査の負担を最小限に抑えながら、偽陰性をどの程度低減できるか？
• RQ5 分布外入力よりも、前駆性疾患のケースは不確実性に基づく意思決定においてより困難であるとされるか？

主な発見

• 理論的分析により、やや緩い仮定のもとで、アンサンブル平均は偽陰性の特定にあたってアンサンブル分散よりも優れた不確実性指標であることが示された。
• 糖尿病網膜症における実証的結果から、スタッキングアンサンブルにアンサンブル平均を用いることで、不確実な陰性例の割合が1.0%のとき、偽陰性が最大18.13%まで低減された。
• 平均と分散の組み合わせ指標が、1.0%の不確実な陰性例割合において、偽陰性の低減率が最高の18.13%を達成し、個別の指標を上回った。
• MCドロップアウトとTTAはより安定した不確実性推定を示したが、偽陰性の低減においてスタッキングアンサンブルに劣った。
• 本研究では、前駆性疾患は分布外入力よりも不確実性推定で検出が難しいことが判明し、専用の不確実性推定手法の開発が求められることが示唆された。
• 平均＋分散指標を用いることで、不確実な陰性例の割合が0.8%のとき、偽陰性が13.48%低減された。これは、人的レビュー負担を最小限に抑えつつも、優れた性能を発揮していることを示している。