[論文レビュー] Noisy Label Learning for Large-scale Medical Image Classification.

Fengbei Liu, Yu Tian+4 more|arXiv (Cornell University)|Mar 6, 2021

COVID-19 diagnosis using AI参考文献 37被引用数 6

ひとこと要約

本論文は、Chest X-ray14 データセットに最新のラベルノイズ学習技術を適応させることで、ラベルノイズ下での大規模医療画像分類を改善する新規手法を提案する。理論的に裏付けられたアプローチを導入し、ノイズのあるテストセットからの結果を用いて、クリーンなテストデータにおけるモデル性能を推定する。その結果、複数の疾患が存在する場合に「No Finding」が最も誤分類されやすく、ラベルノイズの主な要因であることが明らかになった。

ABSTRACT

The classification accuracy of deep learning models depends not only on the size of their training sets, but also on the quality of their labels. In medical image classification, large-scale datasets are becoming abundant, but their labels will be noisy when they are automatically extracted from radiology reports using natural language processing tools. Given that deep learning models can easily overfit these noisy-label samples, it is important to study training approaches that can handle label noise. In this paper, we adapt a state-of-the-art (SOTA) noisy-label multi-class training approach to learn a multi-label classifier for the dataset Chest X-ray14, which is a large scale dataset known to contain label noise in the training set. Given that this dataset also has label noise in the testing set, we propose a new theoretically sound method to estimate the performance of the model on a hidden clean testing data, given the result on the noisy testing data. Using our clean data performance estimation, we notice that the majority of label noise on Chest X-ray14 is present in the class 'No Finding', which is intuitively correct because this is the most likely class to contain one or more of the 14 diseases due to labelling mistakes.

研究の動機と目的

• 放射線科レポートから自動抽出されたラベルを含む大規模医療画像データセットにおけるラベルノイズの課題に対処すること。
• 最新のラベルノイズ学習技術を適応させることで、ノイズのある学習データにおけるディープラーニングモデルの一般化性能を向上させること。
• ノイズのあるテストセットからの予測を用いて、隠れたクリーンなテストデータにおけるモデル性能を理論的に裏付けられた方法で推定すること。
• 特に「No Finding」クラスに注目し、Chest X-ray14 データセットにおけるラベルノイズの根本的要因を特定・分析すること。

提案手法

• Chest X-ray14 データセットのマルチラベル分類設定に、最新のマルチクラスラベルノイズ学習アプローチを適応する。
• ノイズのあるテストセットからの予測を用いて、隠れたクリーンなテストセットにおけるモデル性能を推定する理論的枠組みを導入する。
• 推定されたクリーンな性能を基に、ラベルノイズが存在する中でのモデル訓練およびハイパーパramータ選定を支援する。
• Chest X-ray14 の14クラスにわたるラベルノイズの分布を分析し、特に「No Finding」クラスが誤りの主な要因であることに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 放射線科レポートから抽出されたノイズのあるラベルを含む大規模医療画像データセットで、ディープラーニングモデルをどのように効果的に学習させることができるか？
• RQ2 特に Chest X-ray14 データセットの「No Finding」クラスにおいて、ラベルノイズがモデル性能に与える影響は何か？
• RQ3 ノイズのあるテストデータしか利用できない状況で、理論的に裏付けられた方法がクリーンなテストデータにおけるモデル性能を推定できるか？
• RQ4 Chest X-ray14 データセットのどのクラスがラベルノイズの影響を最も強く受けており、その理由は何か？

主な発見

• 「No Finding」クラスは、複数の疾患が存在する場合に最も誤分類されやすく、Chest X-ray14 データセットにおけるラベルノイズの主な要因である。
• クリーンなテスト性能を推定するための提案手法は、ノイズのあるテストラベルが存在する中でも、モデルの一般化性能を信頼できる代理指標として提供する。
• ノイズのあるテストセットにおけるモデル性能は、クリーンなデータにおける真の性能を著しく低く見積もっていることが判明し、クリーンな性能推定の重要性が浮き彫りになった。
• SOTA ラベルノイズ学習技術の適応により、Chest X-ray14 のノイズのある学習データにおけるモデルのロバスト性と精度が向上した。