[論文レビュー] Direct Uncertainty Prediction with Applications to Healthcare.

Maithra Raghu, Katy Blumer+4 more|arXiv (Cornell University)|Jul 4, 2018

Machine Learning in Healthcare被引用数 6

ひとこと要約

この論文は、分類器の出力から推定するのではなく、教師あり学習におけるラベルの不一致（不確実性）を直接予測する手法を提案している。このアプローチは、合成データおよび医療分野の応用において、2段階手法を上回る性能を示し、複数のラベラー間での高い不一致を示すインスタンスを特定する能力が向上した。

ABSTRACT

Large labeled datasets for supervised learning are frequently constructed by assigning each instance to multiple human evaluators, and this leads to disagreement in the labels associated with a single instance. Here we consider the question of predicting the level of disagreement for a given instance, and we find an interesting phenomenon: direct prediction of uncertainty performs better than the two-step process of training a classifier and then using the classifier outputs to derive an uncertainty. We show stronger performance for predicting disagreement via this direct method both in a synthetic setting whose parameters we can fully control, and in a paradigmatic healthcare application involving multiple labels assigned by medical domain experts. We further show implications for allocating additional labeling effort toward instances with the greatest levels of predicted disagreement.

研究の動機と目的

• 大規模な教師あり学習において、複数のラベラーが同じインスタンスにラベルを割り当てる際のラベル不一致の課題に対処すること。
• 分類器の出力から推定するのではなく、不一致を直接モデル化することで不確実性推定の精度を向上させること。
• 予測された不一致が最も高いインスタンスを特定することで、ラベリングリソースの知的割り当てを可能にすること。
• 制御された合成環境およびエキスパートがラベル付けを施した実世界の医療応用において、この手法を検証すること。

提案手法

• 複数のラベラー間の不一致を教師信号として用い、入力特徴から不確実性スコアを直接予測する深層ニューラルネットワークを学習する。
• ラベラー間のラベル分布の分散またはエントロピーとして不確実性を定義し、これを学習中のターゲット信号として使用する。
• モデルがクラスラベルと不確実性スコアを同時に予測するマルチタスク学習の枠組みを採用する。
• 分類のための交差エントロピーと不確実性予測のための回帰損失を組み合わせた損失関数を最適化に用いる。
• 訓練済みモデルを用いて新しいインスタンスの不確実性を予測し、再評価の優先度を高める高不一致インスタンスを特定する。
• 直接不確実性予測手法を、まず分類器を学習し、その後その出力から不確実性を導出する2段階ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 直接不確実性予測が、分類器を事前に学習し、その後その出力から不確実性を導出する2段階手法を上回るか？
• RQ2 不確実性のパターンが事前に分かっている制御された合成環境において、直接手法はどのように性能を示すか？
• RQ3 直接手法は、エキスパートがラベル付けを施した実世界の医療データに一般化可能か？
• RQ4 予測された不確実性が、高不一致インスタンスを優先してラベリングを効率化するためにどの程度有効か？
• RQ5 不確実性予測の品質が、ラベリングの効率およびデータ品質に与える影響は何か？

主な発見

• 直接不確実性予測手法は、合成データおよび実世界の医療データセットの両方において、ラベル不一致の予測において2段階手法を顕著に上回った。
• 合成環境では、直接手法が不確実性予測のAUCスコアを高く維持し、高不一致インスタンスの識別能が優れていることを示した。
• 複数のエキスパートがラベル付けを施した医療画像データを用いた医療応用において、直接手法は2段階手法よりも高不一致インスタンスをより正確に同定した。
• モデルが予測した不確実性スコアは、実際のラベラー間の不一致と強く相関しており、その信頼性が裏付けられた。
• 高予測不確実性を示すインスタンスは、ラベリングエラーを含む可能性が高かったため、再評価の優先順位付けに有用であることが示唆された。
• 直接手法により、最も曖昧なケースに注力することで、高品質なデータを達成するためのラベリング反復回数が削減された。