[論文レビュー] Supervised Transfer Learning at Scale for Medical Imaging

Basil Mustafa, Aaron Loh+13 more|arXiv (Cornell University)|Jan 14, 2021

COVID-19 diagnosis using AI参考文献 49被引用数 23

ひとこと要約

本論文は、JFT や ImageNet-21k などの大規模な自然画像データセットで事前学習されたモデルを用いた大規模な教師あり転移学習が、胸部レントゲン撮影、マンモグラフィ、皮膚科画像診断を含む医療画像分野のタスクにおいて、自然画像とは顕著なドメインシフトを示すにもかかわらず、性能、データ効率、分布外一般化性能を顕著に向上させることを示している。

ABSTRACT

Transfer learning is a standard technique to improve performance on tasks with limited data. However, for medical imaging, the value of transfer learning is less clear. This is likely due to the large domain mismatch between the usual natural-image pre-training (e.g. ImageNet) and medical images. However, recent advances in transfer learning have shown substantial improvements from scale. We investigate whether modern methods can change the fortune of transfer learning for medical imaging. For this, we study the class of large-scale pre-trained networks presented by Kolesnikov et al. on three diverse imaging tasks: chest radiography, mammography, and dermatology. We study both transfer performance and critical properties for the deployment in the medical domain, including: out-of-distribution generalization, data-efficiency, sub-group fairness, and uncertainty estimation. Interestingly, we find that for some of these properties transfer from natural to medical images is indeed extremely effective, but only when performed at sufficient scale.

研究の動機と目的

• 自然画像と医療画像の間のドメインシフトの課題を、現代的な大規模事前学習が克服できるかどうかを調査すること。
• モデルのスケールおよび事前学習データセットのサイズが、医療画像分野における転移性能に与える影響を評価すること。
• 分布外一般化、データ効率、サブグループの公平性、不確実性キャリブレーションといった、臨床的導入に重要な特性を評価すること。
• 深層部の特徴再利用および重み更新の分析を通じて、性能向上のメカニズムを理解すること。

提案手法

• ResNetベースのアーキテクチャを用いて、100万枚から3億枚の自然画像データセット（例：JFT、ImageNet-21k）から事前学習されたBig Transfer（BiT）モデルを活用した。
• 3つの多様な医療画像分野のタスク（胸部レントゲン撮影：CheXpert、マンモグラフィ：UKデータセット、皮膚科画像：皮膚科医がアノテートした画像）に対して、これらの大規模事前学習モデルを微調整した。
• 標準指標（AUC、正答率）に加え、臨床的関連指標（分布外一般化、データ効率、サブグループの公平性、期待キャリブレーション誤差（ECE））を用いて性能を評価した。
• ネットワークの深さにわたり、事前学習済みモデルと微調整済みモデル間の特徴類似度を分析するため、線形中心化カーネル整合性（CKA）を適用した。
• 重み更新の様子を把握するため、ResNetブロック内のパラメータ移動を追跡し、異なる事前学習スケールが微調整時の重み更新に与える影響を調査した。
• 特定のタスクでモデルのキャリブレーションと公平性を向上させるために、滑らかな確率的ラベルとファーカス損失を用いた。

実験結果

リサーチクエスチョン

• RQ1 JFT や ImageNet-21k などの自然画像データセットから大規模な教師あり事前学習を実施しても、自然画像と医療画像の間で顕著なドメインシフトが生じる状況下でも、医療画像分野のタスクに有効に転移可能か？
• RQ2 モデルのサイズおよび事前学習データセットのスケールを拡大することで、医療画像分野における分布シフト下でのデータ効率および一般化性能が向上するか？
• RQ3 大規模な転移学習は、臨床的導入に不可欠な要因であるサブグループの公平性とモデルキャリブレーションにどのように影響を与えるか？
• RQ4 大規模事前学習がなされた状態で、微調整モデルにおける深層特徴をどの程度効果的に再利用できるか？
• RQ5 事前学習スケール、モデルアーキテクチャのサイズ、および微調整時のパラメータ更新パターンとの関係は何か？

主な発見

• 自然画像（JFT、ImageNet-21k）で大規模事前学習を実施したモデルは、医療画像分野のタスクで標準的な ImageNet 事前学習を上回る性能を示した。
• より大きなデータセット（例：JFT）で事前学習されたモデルは、訓練データの30〜60％のみを用いても、完全データベースラインと同等の性能を達成し、高いデータ効率を示した。
• より大きな事前学習データセットを用いることで、分布外一般化性能が顕著に向上し、分布シフトに対する耐性が向上していることが示された。
• サブグループの公平性およびモデルキャリブレーションは、大規模事前学習によって維持されたりわずかに向上し、人口統計的サブグループ間で公平性指標に劣化は見られなかった。
• 線形CKA分析により、より大きなデータセットで事前学習されたより大きなモデルは、初期化段階からの高レベル特徴をより効果的に保持・再利用していることが分かった。
• パラメータ移動の分析から、より大きな事前学習データセットを用いることで、初期層での重み更新が大きくなり、深層部での更新は小さくなる傾向が見られ、高レベル表現の再利用がより効果的であることが示唆された。