[論文レビュー] Self-Training with Improved Regularization for Few-Shot Chest X-Ray Classification.

Deepta Rajan, Jayaraman J. Thiagarajan+2 more|arXiv (Cornell University)|May 3, 2020

COVID-19 diagnosis using AI被引用数 6

ひとこと要約

本論文は、データ拡張、知識蒸留、信頼度温度調整を活用して、ラベル付きデータの約10%のみで完全教師ありモデルと同等の性能を達成する、少データ学習向けに改善された正則化を備えた自己学習フレームワークを提案する。この手法は、低データ環境下におけるクラス不均衡問題と多疾患予測を効果的に解決する。

ABSTRACT

Automated diagnostic assistants in healthcare necessitate accurate AI models that can be trained with limited labeled data, can cope with severe class imbalances and can support simultaneous prediction of multiple disease conditions. To this end, we present a novel few-shot learning approach that utilizes a number of key components to enable robust modeling in such challenging scenarios. Using an important use-case in chest X-ray classification, we provide several key insights on the effective use of data augmentation, self-training via distillation and confidence tempering for few-shot learning in medical imaging. Our results show that using only ~10% of the labeled data, we can build predictive models that match the performance of classifiers trained in a large-scale data setting.

研究の動機と目的

• 限られたラベル付きデータと深刻なクラス不均衡に直面する医療画像分野における高精度なAIモデルの学習課題に取り組む。
• 少データ学習の制約下において、同時に複数疾患の予測を可能にする。
• 効果的な正則化技術と自己学習を通じて、低データ環境下でのモデルの頑健性を向上させる。
• データ拡張、信頼度温度調整、知識蒸留の影響が少データ医療画像分類に与える影響を調査する。
• 大幅に少ないラベル付きデータを用いて、完全教師ありモデルと同等の性能を達成する。

提案手法

• 少データ学習の訓練データの多様性と頑健性を高めるために、高度なデータ拡張戦略を適用する。
• 教師モデルから学生モデルへ疑似ラベルを用いて知識を転送する、知識蒸留を用いた自己学習を実装する。
• 疑似ラベル付きサンプルの過信予測を低減するため、信頼度温度調整を導入する。
• 学生モデルを、ラベル付きデータと教師モデルの疑似ラベル予測の両方で学習させる、学生-教師フレームワークを採用する。
• 一貫性制約と温度調整付き交差エントロピー損失を用いて学生モデルを正則化し、一般化性能を向上させる。
• 損失重み付けとサンプリング戦略の調整により、クラス不均衡を効果的に処理するための訓練パイプラインを最適化する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータを用いた少データ学習における、知識蒸留を用いた自己学習の有効性はいかほどか？
• RQ2 信頼度温度調整は、低データ環境下でのモデルのキャリブレーションと性能にどの程度寄与するか？
• RQ3 データ拡張と正則化技術が、モデルの頑健性と精度に与える総合的影響は何か？
• RQ4 わずか10%程度のラベル付きデータを用いた少データモデルが、完全教師ありモデルと同等の性能を達成できるか？
• RQ5 提案手法は、胸部X線画像診断における多疾患予測とクラス不均衡にどの程度効果的に対処できるか？

主な発見

• 提案手法は、ラベル付きデータの約10%での学習でも、完全教師ありモデルと同等の性能を達成する。
• 知識蒸留と信頼度温度調整を組み合わせた自己学習は、低データ環境下でのモデルの精度とキャリブレーションを顕著に向上させる。
• データ拡張と正則化の統合により、希少疾患と一般的な疾患の両方のクラスでより頑健な一般化が実現される。
• 限られた監視情報とクラス不均衡の下でも、多疾患分類タスクにおいて強力な性能を維持する。
• 信頼度温度調整により、疑似ラベル予測の過信が軽減され、より信頼性の高い自己学習の更新が可能になる。
• 本手法は、胸部X線画像分類におけるさまざまな少データ評価プロトコルにおいて、優れた転送性と安定性を示す。