[論文レビュー] Direct Uncertainty Prediction for Medical Second Opinions

Maithra Raghu, Katy Blumer+5 more|arXiv (Cornell University)|Jul 4, 2018

Machine Learning in Healthcare被引用数 49

ひとこと要約

その論文は Direct Uncertainty Prediction (DUP) が患者特徴から不確実性スコアを直接学習し、従来の2段階 Uncertainty Via Classification (UVC) アプローチよりも医師の意見不一致を引き起こすケースをよりよく識別することを示している。大規模な医用画像データと理論的成果で実証。

ABSTRACT

The issue of disagreements amongst human experts is a ubiquitous one in both machine learning and medicine. In medicine, this often corresponds to doctor disagreements on a patient diagnosis. In this work, we show that machine learning models can be trained to give uncertainty scores to data instances that might result in high expert disagreements. In particular, they can identify patient cases that would benefit most from a medical second opinion. Our central methodological finding is that Direct Uncertainty Prediction (DUP), training a model to predict an uncertainty score directly from the raw patient features, works better than Uncertainty Via Classification, the two-step process of training a classifier and postprocessing the output distribution to give an uncertainty score. We show this both with a theoretical result, and on extensive evaluations on a large scale medical imaging application.

研究の動機と目的

• 医師の意見の不一致が生じる医療のセカンドオピニオン問題を動機づけ、形式化する。
• Direct Uncertainty Prediction (DUP) と Uncertainty Via Classification (UVC) を定義・比較する。
• 自然なモデルの下で DUP の不偏性と UVC のバイアスを示す理論的保証を提供する。
• 大規模な網膜底部視野画像データと裁定済みゴールドスタンダードセットで DUP と UVC を実証的に検証する。

提案手法

• 実証的な医師評価ヒストグラム上の不確実性スコアリング関数 U を形式化する。
• h_dup(x) を生の患者特徴量から直接学習して U(E[Y|O]) を推定するよう DUP を開発する。
• g(O)=x を満たす E[Y|g(O)=x] を生成する分類器を最初に学習し, その後 U を適用する UVC と対比する。
• モデルの下で h_dup が U( E[Y|O] ) の不偏推定量であることを証明し、h_uvc がバイアス項を持つことを示す。
• toy Gaussian mixture 実験と大規模医療画像データ（DR）および裁定済みテストセットで実証する。

実験結果

リサーチクエスチョン

• RQ1 直接的に患者特徴からの不確実性を学習することは、2段階法と比較して医師の意見の不一致の不偏推定をもたらすか？
• RQ2 Direct Uncertainty Prediction (DUP) はどの条件下で Uncertainty Via Classification (UVC) を上回るのか？
• RQ3 DUP モデルは網膜画像データにおける医療セカンドオピニオンを要するケースをより良く識別するか？
• RQ4 裁定済みゴールドスタンダードの不一致タスクで DUP と UVC はどのように性能を発揮するか？

主な発見

• DUP はターゲット不確実性の不偏推定量を提供する一方、提案されたモデルの下で UVC にはバイアス項が生じる。
• toy 実験（ガウス混合分布）および画像ぼかし実験（SVHN/CIFAR-10）で、DUP は高い不一致を持つデータポイントをより識別する。
• 網膜 fundus DR 等級データで、DUP は複数の不確実性定義と評価タスクにおいて一貫して UVC を上回る。
• 裁定評価では、DUP がベースラインを上回り、不一致信号との整合性が強いことを示す。
• DUP ベースのランキングは、複数の距離指標で UVC ベースのランキングより裁定不一致とより強く整合する。