[論文レビュー] Learn to Estimate Labels Uncertainty for Quality Assurance

Agnieszka Tomczack, Nassir Navab+1 more|arXiv (Cornell University)|Sep 17, 2019

Machine Learning in Healthcare参考文献 14被引用数 5

ひとこと要約

本論文は、モンテカルロドロップアウトを用いた変分オートエンコーダーに基づくアプローチにより、エピステミック不確実性（モデルの不確実性）とラベルの不確実性（医療画像のアノテーションにおける観察者間ばらつき）を同時にモデル化する、新しい深層学習フレームワークを提案する。この手法は、特にラベルがノイズが多くて曇っている臨床データセットにおいて、ラベルの不確実性—特定のアノテーターに特化した潜在変数の事後分布によって捉えられる—が、エピステミック不確実性のみに依存する場合よりも、より正確で明確な不確実性の測定を可能にすることを示している。

ABSTRACT

Deep Learning sets the state-of-the-art in many challenging tasks showing outstanding performance in a broad range of applications. Despite its success, it still lacks robustness hindering its adoption in medical applications. Modeling uncertainty, through Bayesian Inference and Monte-Carlo dropout, has been successfully introduced for better understanding the underlying deep learning models. Yet, another important source of uncertainty, coming from the inter-observer variability, has not been thoroughly addressed in the literature. In this paper, we introduce labels uncertainty which better suits medical applications and show that modeling such uncertainty together with epistemic uncertainty is of high interest for quality control and referral systems.

研究の動機と目的

• 医療画像における深層学習の不確実性定量化の不足、特にアノテーションにおける観察者間ばらつきに起因する不確実性の解消。
• 既存の手法がエピステミック不確実性に依存するのみであるため、医師間の合意のないラベルに起因する不確実性を捉えられていないことの特定。
• モンテカルロドロップアウトによるエピステミック不確実性と、アノテーターのばらつきを捉えるための事後分布エンコーダーによるラベルの不確実性を明示的にモデル化する統合フレームワークの開発。
• ラベルの不確実性がモデルの不確実性に包含されない、独立で重要な不確実性要因であることが示され、医療応用において顕著である。
• 診断予測の不確実性推定を、出所に特化した解釈可能な形で提供することで、品質管理および紹介システムの実現を可能にする。

提案手法

• モデル重み（エピステミック不確実性）と個々のアノテーターを表す潜在変数（ラベルの不確実性）を同時にモデル化する変分ベイジアンニューラルネットワークを定式化する。
• 複数のアノテーターによるラベルから、観察者間ばらつきの潜在表現を推論するための事後エンコーダー $ p_{ heta}(oldsymbol{z}_y | oldsymbol{X}, oldsymbol{Y}) $ を使用する。
• 最終特徴マップの直前に、ラベルの不確実性ベクトル $ oldsymbol{z}_y $ を特徴マップに連結する。
• 推論時にモンテカルロドロップアウトを適用してエピステミック不確実性を推定し、一方でラベルの不確実性は $ oldsymbol{z}_y $ の事後分布の分散から導出する。
• モデル重みとラベルの不確実性のそれぞれに分離されたKLダイバージェンス項を含む、変分下界（ELBO）を最適化する。
• 学習時、$ oldsymbol{z}_y $ は事後分布からサンプリングされる。推論時、$ oldsymbol{z}_y $ は事前エンコーダー $ p_{oldsymbol{ heta}}(oldsymbol{z}_y | oldsymbol{X}) $ からサンプリングされる。

実験結果

リサーチクエスチョン

• RQ1 医療画像のアノテーションにおける観察者間ばらつきに起因するラベルの不確実性を、深層学習においてエピステミック不確実性と区別して効果的にモデル化できるか？
• RQ2 ラベルの不確実性をモデル化することで、臨床画像診断タスクにおいてエピステミック不確実性に依存する場合よりも信頼性の高い不確実性推定が得られるか？
• RQ3 真のラベルが曇っていて一貫性のない場合、本フレームワークは不確実なサンプルを正しく検出できるか？
• RQ4 解釈可能で出所に特化した不確実性推定を提供することで、品質管理および紹介システムの向上が図れるか？
• RQ5 ラベルの不確実性は、エピステミック不確実性に比べて、高頻度の観察者間合意不一致を示すサンプルを特定するのにより情報量が多いか？

主な発見

• MNISTデータセットに意図的にラベルノイズ（25％のクラス入れ替え）を導入した場合、本手法は変更のないクラスではラベルの不確実性がほぼゼロとなり、変更されたクラスでは著しく高い値（0.5502 ± 0.5789）を示し、観察者間ばらつきを正しく捉えている。
• これに対して、エピステミック不確実性（EU）は、特にテストセットで高い分散と信頼性の低い指標を示しており、真のラベルの不確実性とモデルの不確実性を区別できていないことを示している。
• CheXpertデータセットでは、本手法のラベルの不確実性（LU）指標が、不確実ラベルの割合が高い「コンsolidation」（0.0283）および「アテレクトアス」（0.0609）のクラスで高い不確実性を正しく特定している一方、エピステミック不確実性は低く保たれている（0.0001–0.0024）。
• 不確実ラベルを導入した後、本手法のAUCは0.71から0.51に低下し、ベースラインも0.52に低下したが、本手法のラベルの不確実性指標はデータの不確実性増加を信頼性高く反映している。
• 結果から、ラベルの不確実性とエピステミック不確実性は独立で補完的であることが確認された：エピステミック不確実性のみでは観察者間ばらつきを捉えられず、ラベルの不確実性によってそれが効果的に捉えられる。
• 本フレームワークは、曇っているか一貫性のない症例を信頼性高く特定でき、医療AIシステムにおける臨床意思決定支援および品質保証を支援する。