[論文レビュー] Curriculum learning for annotation-efficient medical image analysis: scheduling data with prior knowledge and uncertainty

Amelia Jiménez-Sánchez, Diana Mateus+6 more|arXiv (Cornell University)|Jul 31, 2020

COVID-19 diagnosis using AI参考文献 2被引用数 5

ひとこと要約

本稿では、医療画像解析における訓練サンプルのスケジューリングを、事前知識またはモデル予測から導出された難易度スコアおよび不確実性スコアを用いて行う統合的カリキュラム学習フレームワークを提案する。これらのスコアに基づいてデータを再順序付けおよび再重み付けすることで、特にデータ不足、クラス不均衡、ラベルノイズの下でも、熟練した救命救急医に匹敵する精度を達成する。

ABSTRACT

Convolutional neural networks (CNNs) for multi-class classification require training on large, representative, and high quality annotated datasets. However, in the field of medical imaging, data and annotations are both difficult and expensive to acquire. Moreover, they frequently suffer from highly imbalanced distributions, and potentially noisy labels due to intra- or inter-expert disagreement. To deal with such challenges, we propose a unified curriculum learning framework to schedule the order and pace of the training samples presented to the optimizer. Our novel framework reunites three strategies consisting of individually weighting training samples, reordering the training set, or sampling subsets of data. The core of these strategies is a scoring function ranking the training samples according to either difficulty or uncertainty. We define the scoring function from domain-specific prior knowledge or by directly measuring the uncertainty in the predictions. We perform a variety of experiments with a clinical dataset for the multi-class classification of proximal femur fractures and the publicly available MNIST dataset. Our results show that the sequence and weight of the training samples play an important role in the optimization process of CNNs. Proximal femur fracture classification is improved up to the performance of experienced trauma surgeons. We further demonstrate the benefits of our unified curriculum learning method for three controlled and challenging digit recognition scenarios: with limited amounts of data, under class-imbalance, and in the presence of label noise.

研究の動機と目的

• ディープラーニングにおける高コスト、不均衡、ノイズの多い医療画像のアノテーションの課題に対処すること。
• 畳み込みニューラルネットワーク（CNN）のマルチクラス医療画像分類における効率性とロバスト性を向上させること。
• 難易度および不確実性スコアを用いて、データの再順序付け、再重み付け、サブセットサンプリングを統合する一貫したカリキュラム学習アプローチを開発すること。
• データ不足、クラス不均衡、ラベルノイズの下で、近位大腿骨骨折分類および数字認識の分野において手法を評価すること。
• 臨床現場における熟練したレントゲン診断医に匹敵する診断精度を達成できることを示すこと。

提案手法

• フレームワークは、ドメイン固有の事前知識またはモデル予測の信頼度から導出される難易度または不確実性に基づいて、訓練サンプルをスコア付けする関数を用いる。
• 訓練中にサンプルを再順序付けおよび再重み付けし、より簡単またはより情報量の多い例から始めるカリキュラムに従う。
• 3つの戦略を統合する：サンプルの再重み付け、データの再順序付け、動的サブセットサンプリング。これらすべてが同一の不確実性に基づくスコアによって制御される。
• 不確実性は、モデル予測の分散またはエントロピーによって測定され、事前知識は医療画像の初期難易度推定に活用される。
• マルチクラス分類のためのCNNにアプローチを適用し、カリキュラムスケジュールされたデータフローに従って最適化を進める。
• フレームワークは、制御された困難な条件下で臨床的近位大腿骨骨折データセットおよびMNISTデータセットに対して評価された。

実験結果

リサーチクエスチョン

• RQ1 不確実性および事前知識に基づく訓練サンプルのスケジューリングが、医療画像分類におけるCNN性能をどのように向上させるか？
• RQ2 カリキュラム学習は、医療画像分野におけるデータ不足およびクラス不均衡の下で、性能低下をどの程度緩和できるか？
• RQ3 提案されたフレームワークは、骨折分類において熟練した放射線科医に匹敵する診断性能を達成できるか？
• RQ4 再重み付け、再順序付け、およびサブセットサンプリングの組み合わせが、最適化の安定性および収束にどのように影響するか？
• RQ5 ラベルノイズの影響はモデル性能にどのような影響を及ぼし、カリキュラムフレームワークはそれをどのように緩和するか？

主な発見

• カリキュラム学習フレームワークは、近位大腿骨骨折データにおいて分類精度を顕著に向上させ、熟練した救命救急医に匹敵する水準に達した。
• 本手法はデータ不足の下でも頑健な性能を発揮し、限られたアノテーション付きサンプルでも高い精度を維持した。
• クラス不均衡の条件下では、本手法により多数クラスへのバイアスが低減され、少数クラスの再現率が向上した。
• フレームワークはラベルノイズに対して耐性を示し、ラベルの20％が損傷しても高い精度を維持した。
• 不確実性および事前知識に基づくサンプルの再順序付けと再重み付けにより、標準的な訓練に比べて収束が速く、一般化性能も向上した。
• 統合されたフレームワークは、単一のスコア化メカニズムを通じて複数のスケジューリング戦略を統合することで、ベースラインのカリキュラム手法を上回った。