[論文レビュー] What Makes Transfer Learning Work For Medical Images: Feature Reuse & Other Factors

C. Matsoukas, Johan Fredin Haslum+3 more|arXiv (Cornell University)|Mar 2, 2022

AI in cancer detection被引用数 8

ひとこと要約

この論文は、ImageNetから医療画像分野へのトランスファー学習がなぜ機能するかを調査し、特に特徴再利用が性能向上の主な要因であることを示している—特にビジョントランスフォーマー（ViTs）や小規模・類似性の低いデータセットにおいて顕著である。トランスファー学習は、データが限られている、ドメインが近い、モデルのインダクティブバイアスが低い場合に最も効果的であり、ViTsでは特徴再利用が初期層に集中し、CNNではより均等に分布している。

ABSTRACT

Transfer learning is a standard technique to transfer knowledge from one domain to another. For applications in medical imaging, transfer from ImageNet has become the de-facto approach, despite differences in the tasks and image characteristics between the domains. However, it is unclear what factors determine whether - and to what extent - transfer learning to the medical domain is useful. The long-standing assumption that features from the source domain get reused has recently been called into question. Through a series of experiments on several medical image benchmark datasets, we explore the relationship between transfer learning, data size, the capacity and inductive bias of the model, as well as the distance between the source and target domain. Our findings suggest that transfer learning is beneficial in most cases, and we characterize the important role feature reuse plays in its success.

研究の動機と目的

• ImageNetから医療画像分野への成功したトランスファー学習を可能にする要因を理解すること。
• 最近の特徴再利用仮説への挑戦を踏まえ、トランスファー学習における特徴再利用の役割を再評価すること。
• モデルアーキテクチャ（CNN対ViTs）、データサイズ、ドメイン類似性、インダクティブバイアスがトランスファー性能に与える影響を調査すること。
• 異なるネットワークアーキテクチャおよびデータセットにおける特徴再利用の空間的分布を特徴づけること。
• CheXpertのような大規模データセットに限定されない、包括的かつ実証的根拠に基づくトランスファー学習の有効性の全体像を提示すること。

提案手法

• APTOS 2019、CBIS-DDSM、ISIC 2019、CheXpert、PatchCamelyonの5つの医療画像ベンチマークで制御された実験を実施。
• インダクティブバイアスが増加する4つのモデルファミリー（DeiT-S（最低）、Swin-T、Inception、ResNet50（最高））を、さまざまなデータサイズで評価。
• トランスファー学習（WT）とランダム初期化（RI）の性能向上を測定し、重み統計と特徴再利用の2つの要因に分解。
• 特徴再利用の評価に複数の指標を用いる：活性化類似度、勾配フロー、ファインチューニング中のレイヤーごとの特徴安定性。
• ImageNetとターゲット医療データセット間のドメイン距離を定量化するためにFIDを適用。
• インダクティブバイアスの影響をモデル容量とは分離して特定するためのアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 特徴再利用は、ImageNetから医療画像分野へのトランスファー学習における性能向上をどの程度説明できるか？
• RQ2 データサイズとImageNetと医療データセット間のドメイン距離は、トランスファー学習の有効性にどのように影響するか？
• RQ3 モデルのインダクティブバイアスの強さは、トランスファー学習や特徴再利用への依存度にどのように影響するか？
• RQ4 ビジョントランスフォーマー（ViTs）と畳み込みニューラルネットワーク（CNNs）では、特徴再利用の空間的分布にどのような違いがあるか？
• RQ5 トランスファー学習の向上が最小限に抑えられる条件は何か？その原因は特徴再利用ではなく重み統計に起因するのだろうか？

主な発見

• トランスファー学習は、データが限られているかドメインがImageNetに近い場合を除き、大多数の医療画像分野のデータセットで顕著な性能向上をもたらす。
• 特徴再利用は性能向上と強く相関しており、特にビジョントランスフォーマー（ViTs）では初期層の特徴が最も重要かつ強く再利用されている。
• インダクティブバイアスが低いモデル（例：DeiT-S）は特徴再利用に強く依存するが、インダクティブバイアスが高いモデル（例：ResNet50）は、データが少ないかドメインが類似している場合を除き、恩恵をあまり受けない。
• ViTsでは特徴再利用が初期層に集中しており、後続のレイヤーを無視しても性能にほとんど影響しない。これは初期特徴が「くっつきやすい」（sticky）ことを示している。
• CNNでは特徴再利用がレイヤー全体にわたりより均等に分布しており、特徴の複雑さが段階的に向上するが、大規模または距離の遠いデータセットでは向上が頭打ちになることがある。
• [36, 30]で特定された特徴再利用が重要でない孤立した事例は、CheXpertのような大規模で距離の遠いデータセットに限定され、この場合の向上は主に重み統計によるもので、特徴再利用とは無関係である。