[論文レビュー] Effect of large-scale pre-training on full and few-shot transfer learning for natural and medical images.

Mehdi Cherti, Jenia Jitsev|arXiv (Cornell University)|May 31, 2021

COVID-19 diagnosis using AI参考文献 31被引用数 6

ひとこと要約

本研究では、大規模な事前学習が自然画像および医療画像における転移学習に与える影響を調査し、ImageNet-21k（自然画像）および大規模な胸部X線データセットで事前学習されたモデルを比較した。スケーリングされた事前学習は、ソースドメインとターゲットドメインが類似している場合に転移性能を最も向上させるが、ドメインが離れている場合にはその恩恵が薄れる。驚くべきことに、PadChestへのフルショット転移において、ドメイン固有のX線モデルを上回る性能を示した大規模なImageNet-21kモデルが存在し、ドメイン固有の事前学習データがなくても、汎用データを用いた大規模事前学習によって高精度なドメイン適応が可能であることを示唆している。

ABSTRACT

Transfer learning aims to exploit pre-trained models for more efficient follow-up training on wide range of downstream tasks and datasets, enabling successful training also on small data. Recent line of work posits strong benefits for model generalization and transfer when model size, data size, and compute budget are increased for the pre-training. It remains however still largely unclear whether the observed transfer improvement due to increase in scale also holds when source and target data distributions are far apart from each other. In this work we conduct large-scale pre-training on large source datasets of either natural (ImageNet-21k/1k) or medical chest X-Ray images and compare full and few-shot transfer using different target datasets from both natural and medical imaging domains. Our observations provide evidence that while pre-training and transfer on closely related datasets do show clear benefit of increasing model and data size during pre-training, such benefits are not clearly visible when source and target datasets are further apart. These observations hold across both full and few-shot transfer and indicate that scaling laws pointing to improvement of generalization and transfer with increasing model and data size are incomplete and should be revised by taking into account the type and proximity of the source and target data, to correctly predict the effect of model and data scale during pre-training on transfer. Remarkably, in full shot transfer to a large X-Ray chest imaging target (PadChest), the largest model pre-trained on ImageNet-21k slightly outperforms best models pre-trained on large X-Ray chest imaging data. This indicates possibility to obtain high quality models for domain-specific transfer even without access to large domain-specific data, by pre-training instead on comparably very large, generic source data.

研究の動機と目的

• モデルサイズ、データサイズ、計算量のスケーリングを伴う事前学習が、自然画像および医療画像ドメイン間の転移性能に与える影響を評価すること。
• ソースデータとターゲットデータの分布が離れている場合、大規模事前学習の利点が維持されるかどうかを評価すること。
• 自然画像（ImageNet-21k/1k）と医療画像（胸部X線）で事前学習されたモデルのフルショットおよびフェイントショット転移性能を比較すること。
• 大規模な汎用データでの事前学習が、医療画像分野におけるドメイン固有の事前学習を上回る可能性があるかどうかを特定すること。

提案手法

• モデルサイズを段階的に増加させながら、ImageNet-21k（自然画像）および大規模な胸部X線データセットで大規模な事前学習を実施した。
• 自然および医療画像ドメインの多様な下流データセットに対して、フルショットおよびフェイントショット転移学習を実施した。
• 標準的な指標を用いて複数のターゲットデータセットで性能を評価し、汎用データとドメイン固有データで事前学習されたモデルを比較した。
• 事前学習段階でモデルサイズとデータスケールを体系的に変化させ、スケールの影響が転移性能に与える要因を分離した。
• 公平な比較を確保するため、標準化されたトレーニングおよび評価プロトコルを用いた。

実験結果

リサーチクエスチョン

• RQ1 事前学習段階でのモデルサイズおよびデータサイズのスケーリングを増加させることで、多様なソース・ターゲットドメインペアにおいて、転移性能が一貫して向上するか？
• RQ2 ソースデータとターゲットデータの分布が大きく離れている場合、大規模事前学習の利点は薄れるか？
• RQ3 大規模な汎用データ（例：ImageNet-21k）で事前学習されたモデルは、ドメイン固有の医療画像データで事前学習されたモデルよりも、下流の医療画像タスクで優れた性能を示すか？
• RQ4 自然画像および医療画像ドメイン間で事前学習のスケーリングを実施した場合、フルショットとフェイントショットの転移性能にはどのような差が生じるか？
• RQ5 ドメインの類似性は、転移学習におけるスケーリング法則の有効性をどの程度調整するか？

主な発見

• ソースドメインとターゲットドメインが密接に類似している場合（例：ImageNetと類似した自然画像データセット間）、事前学習のスケーリングにより転移性能が向上する。
• ソースドメインとターゲットドメインが離れている場合（例：自然画像と医療X線画像間）、大規模事前学習の恩恵は明確に現れない。
• PadChest X線データセットへのフルショット転移において、ImageNet-21kで事前学習された最大モデルが、大規模な胸部X線データで事前学習された最良のモデルをわずかに上回った。
• フェイントショット転移の結果も同様の傾向を示し、ドメインの類似性が、スケールそのものよりも転移の有効性を決定づけることが示された。
• これらの発見は、現在の転移学習におけるスケーリング法則が不完全であり、性能向上の正確な予測にはデータドメインの類似性を組み込む必要があることを示唆している。