[論文レビュー] Knowledge Distillation with Adaptive Asymmetric Label Sharpening for Semi-supervised Fracture Detection in Chest X-rays

Yirui Wang, Kang Zheng+8 more|arXiv (Cornell University)|Dec 30, 2020

COVID-19 diagnosis using AI参考文献 15被引用数 6

ひとこと要約

本稿では、臨床診断から自動抽出された大規模な画像レベルラベルと限られた領域レベルのアノテーションを活用して、チアックX線における肋骨および鎖骨骨折検出の半教師あり学習を改善する、適応的非対称ラベル鋭化（AALS）を備えた知識蒸留フレームワークを提案する。AALSによりクラス不均衡を是正することで、本手法は、肋骨骨折検出においてAUROC 0.9318、FROC 0.8914の最先端性能を達成し、先行手法よりもAUROCで1.63%、FROCで3.74%の向上を示した。

ABSTRACT

Exploiting available medical records to train high performance computer-aided diagnosis (CAD) models via the semi-supervised learning (SSL) setting is emerging to tackle the prohibitively high labor costs involved in large-scale medical image annotations. Despite the extensive attentions received on SSL, previous methods failed to 1) account for the low disease prevalence in medical records and 2) utilize the image-level diagnosis indicated from the medical records. Both issues are unique to SSL for CAD models. In this work, we propose a new knowledge distillation method that effectively exploits large-scale image-level labels extracted from the medical records, augmented with limited expert annotated region-level labels, to train a rib and clavicle fracture CAD model for chest X-ray (CXR). Our method leverages the teacher-student model paradigm and features a novel adaptive asymmetric label sharpening (AALS) algorithm to address the label imbalance problem that specially exists in medical domain. Our approach is extensively evaluated on all CXR (N = 65,845) from the trauma registry of anonymous hospital over a period of 9 years (2008-2016), on the most common rib and clavicle fractures. The experiment results demonstrate that our method achieves the state-of-the-art fracture detection performance, i.e., an area under receiver operating characteristic curve (AUROC) of 0.9318 and a free-response receiver operating characteristic (FROC) score of 0.8914 on the rib fractures, significantly outperforming previous approaches by an AUROC gap of 1.63% and an FROC improvement by 3.74%. Consistent performance gains are also observed for clavicle fracture detection.

研究の動機と目的

• 臨床診断から自動抽出された大規模な画像レベルラベルを活用することで、医療画像ラベリングにおける専門家アノテーションの高コストを低減すること。
• 画像レベルのネガティブ例が領域レベルのポジティブ例に比べて著しく多い、低発症率骨折検出における特異的なクラス不均衡問題を克服すること。
• 限られた専門家アノテート領域と信頼性の高い臨床診断を統合することで、CADにおける半教師あり学習を向上させること。
• 極めて限られたラベル環境下で、画像レベルおよび領域レベルの両方のラベルを効果的に活用する、新たな知識蒸留戦略の開発。
• 実世界の大規模なCXRsデータセットにおいて、肋骨および鎖骨骨折検出で最先端の性能を達成すること。

提案手法

• 臨床診断からの画像レベルラベルを、未ラベルデータの仮ラベルとして用いる教師-生徒型知識蒸留フレームワークを提案。
• モデルの不確実性とクラス不均衡に基づいてラベル信頼度を動的に調整する、適応的非対称ラベル鋭化（AALS）を導入。
• AALSは、学習可能なパラメータ（中心 t と強度 a₀）を有するシグモイドベースの鋭化関数を用い、仮ラベルのノイズを低減し、一般化性能を向上させる。
• 学習の安定化を図るため、カリキュラム学習戦略を採用し、訓練中に画像レベルポジティブラベル（P）の影響を段階的に増加させる。
• 生徒ネットワークは、領域レベルアノテーションにおけるバイナリクロスエントロピー損失と、教師モデルによる仮ラベル画像からの蒸留損失の両方を用いて訓練される。
• 教師モデルは、生徒の重みを指数移動平均（EMA）で更新することで、学習の安定性と一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 限られた領域レベルアノテーションと組み合わせた臨床診断からの画像レベルラベルが、CXRsにおける半教師あり骨折検出を顕著に改善できるか？
• RQ2 領域レベルポジティブ例と画像レベルネガティブ例の比率が1:100に達するような、医療分野のSSLにおける深刻なラベル不均衡を効果的に是正できるか？
• RQ3 適応的非対称ラベル鋭化（AALS）は、標準的なラベルスムージングや鋭化よりも、モデルの一般化性能と検出性能を向上させられるか？
• RQ4 画像レベルポジティブラベル（P）を活用することで、それらを未ラベルデータとして扱う場合と比較して、検出性能がどの程度向上するか？
• RQ5 AALSを用いた知識蒸留は、実世界のCXRsデータにおいて、肋骨および鎖骨骨折検出で最先端の性能を達成できるか？

主な発見

• 提案手法は、肋骨骨折検出においてAUROC 0.9318、FROC 0.8914を達成し、先行手法よりもAUROCで1.63ポイント、FROCで3.74ポイントの向上を示した。
• 鎖骨骨折検出においては、AUROC 0.9646、FROC 0.9265を達成し、両骨折種別で一貫した性能向上を示した。
• 中心 t=0.4、強度 a₀=4 のAALSが最良の性能を示し、最適なラベル鋭化が感度と特異度のバランスを取ることを示した。
• 画像レベルポジティブラベル（P）の含める割合が増えるに従い、性能が単調に向上する傾向を示し、臨床診断データの価値を裏付けた。
• 弱教師ありおよびマルチインスタンス学習のベースライン（例：CheXNet、Li et al.）でさえ、分類および局所化の両面で本手法に劣り、画像レベルラベルを用いているにもかかわらず。
• アブレーションスタディにより、過剰に鋭化しすぎた（a₀=16）り、または不十分に鋭化された（a₀=1）場合に性能が低下することが確認され、適応的チューニングの必要性が裏付けられた。