[論文レビュー] Deep learning with noisy labels: exploring techniques and remedies in medical image analysis

Davood Karimi, Haoran Dou+2 more|arXiv (Cornell University)|Dec 5, 2019

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文は、医療画像データセットに生じるラベルノイズ（観察者間の差異、人的誤差、自動ラベリングに起因）を調査し、深層学習モデルへの影響を軽減する手法を評価している。3つの医療画像データセットを用いた実験を通じて、アノテーターの誤りの混乱状況をモデル化し、不確実性に配慮した学習を実施することで、単純なラベルフィルタリングや高損失サンプルの無視に比べて性能が著しく向上することを示している。

ABSTRACT

Supervised training of deep learning models requires large labeled datasets. There is a growing interest in obtaining such datasets for medical image analysis applications. However, the impact of label noise has not received sufficient attention. Recent studies have shown that label noise can significantly impact the performance of deep learning models in many machine learning and computer vision applications. This is especially concerning for medical applications, where datasets are typically small, labeling requires domain expertise and suffers from high inter- and intra-observer variability, and erroneous predictions may influence decisions that directly impact human health. In this paper, we first review the state-of-the-art in handling label noise in deep learning. Then, we review studies that have dealt with label noise in deep learning for medical image analysis. Our review shows that recent progress on handling label noise in deep learning has gone largely unnoticed by the medical image analysis community. To help achieve a better understanding of the extent of the problem and its potential remedies, we conducted experiments with three medical imaging datasets with different types of label noise, where we investigated several existing strategies and developed new methods to combat the negative effect of label noise. Based on the results of these experiments and our review of the literature, we have made recommendations on methods that can be used to alleviate the effects of different types of label noise on deep models trained for medical image analysis. We hope that this article helps the medical image analysis researchers and developers in choosing and devising new techniques that effectively handle label noise in deep learning.

研究の動機と目的

• 医療画像データセットにおけるラベルノイズの広がりと影響、特に観察者間の差異や自動ラベリングに起因するものについて調査すること。
• 医療画像解析応用分野におけるラベルノイズを扱う、既存および新規の深層学習手法を評価すること。
• 臨床用の深層学習パイプラインにおいて、ノイズに強い学習戦略の選定と適用に関する根拠に基づく推奨事項を提示すること。
• アノテーターの不確実性と誤り行列をモデル化することで、ラベルフィルタリングや高損失サンプルの無視に比べて性能が向上することを実証すること。

提案手法

• 損失補正、ラベルスムージング、不確実性に配慮した学習を含む、複数のラベルノイズ軽減戦略を評価した。
• 畳み込みニューラルネットワーク（CNN）の予測不確実性を活用して、ラベルが不足している病変を特定する手法を提案し、欠落したアノテーションの検出と是正を可能にした。
• エンドツーエンド学習中に個々の専門家によるアノテーション誤りを誤り行列に基づいてモデル化するアプローチを適用した。
• 関連する画像モodalities（例：T2強調画像からDW-MRIに至る）からのコンピュータ生成ノイズラベルを弱い教師信号として活用し、モデルの汎化性能を向上させた。
• ラベルフィルタリング、損失重み付け、アンサンブルベースのラベル統合を含む、さまざまな手法の性能を比較した。
• 専門家によるラベル付けで欠落した小規模構造、複数専門家のセグメンテーションにおける観察者間差異、アトラスベースのノイズを含む、さまざまなノイズタイプを有するデータセットでモデルを学習した。

実験結果

リサーチクエスチョン

• RQ1 観察者間の差異に起因するラベルノイズは、医療画像解析における深層学習モデルの性能にどのように影響を与えるか？
• RQ2 医療画像分野における異なるタイプのラベルノイズに対して、どのラベルノイズ軽減手法が最も効果的か？
• RQ3 トレーニング中にアノテーターの混乱状況をモデル化することは、従来のラベル統合やフィルタリング戦略を上回る性能を達成できるか？
• RQ4 真のラベルが不足している状況において、関連する画像モダリティからの弱教師信号が、モデル性能をどの程度向上させられるか？
• RQ5 不確実性に基づく欠落アノテーション検出は、病変セグメンテーションタスクにおける汎化性能の向上に寄与するか？

主な発見

• 複数専門家のセグメンテーションタスクにおいて、トレーニング中にアノテーターの混乱状況をモデル化した手法が、ラベル統合や損失フィルタリングを著しく上回った。
• CNNの予測不確実性を活用することで、微小・曇りがかり・孤立した病変におけるラベル欠落の検出と是正が効果的に行えた。
• 一致したT2強調画像からコンピュータ生成されたノイズラベルを用いて学習したモデルは、手動でセグメンテッドされた65例のDW-MRIボリュームのみで学習した場合よりも性能が向上した。
• 高損失サンプルを無視する手法は、ラベル不確実性をモデル化する手法に比べて、系統的なアノテーションバイアスを有するデータセットでは劣っていた。
• 自動システムによるラベルノイズは、正確さが著しく低い場合には有害であったが、真の解剖学的構造と十分に一致している場合には有用であった。
• 誤り行列を用いた複数専門家のラベリングと混乱モデル化は、単一専門家のラベリングや単純平均化よりも高い性能向上をもたらした。