[論文レビュー] A Systematic Benchmarking Analysis of Transfer Learning for Medical Image Analysis

Mohammad Reza Hosseinzadeh Taher, Fatemeh Haghighi+3 more|arXiv (Cornell University)|Aug 12, 2021

COVID-19 diagnosis using AI参考文献 38被引用数 23

ひとこと要約

本論文は、医療画像解析のための転移学習に関する大規模ベンチマークを提示し、スレーブド ImageNet、細分化された iNat2021、および14種類の自己教師あり ImageNet モデルを7つの医療画像タスクで比較している。本研究では、細分化されたデータで事前学習されたモデルがセグメンテーションに優れた効果を示し、自己教師ありモデルがしばしば教師ありモデルを上回ること、そして医療画像で継続的な事前学習を行うことで自然画像と医療画像のドメインギャップを効果的に埋め合わせられることを示している。

ABSTRACT

Transfer learning from supervised ImageNet models has been frequently used in medical image analysis. Yet, no large-scale evaluation has been conducted to benchmark the efficacy of newly-developed pre-training techniques for medical image analysis, leaving several important questions unanswered. As the first step in this direction, we conduct a systematic study on the transferability of models pre-trained on iNat2021, the most recent large-scale fine-grained dataset, and 14 top self-supervised ImageNet models on 7 diverse medical tasks in comparison with the supervised ImageNet model. Furthermore, we present a practical approach to bridge the domain gap between natural and medical images by continually (pre-)training supervised ImageNet models on medical images. Our comprehensive evaluation yields new insights: (1) pre-trained models on fine-grained data yield distinctive local representations that are more suitable for medical segmentation tasks, (2) self-supervised ImageNet models learn holistic features more effectively than supervised ImageNet models, and (3) continual pre-training can bridge the domain gap between natural and medical images. We hope that this large-scale open evaluation of transfer learning can direct the future research of deep learning for medical imaging. As open science, all codes and pre-trained models are available on our GitHub page https://github.com/JLiangLab/BenchmarkTransferLearning.

研究の動機と目的

• 細分化された iNat2021 データで事前学習されたモデルの医療画像解析タスクへの転送可能性を評価すること。
• 7つの医療画像タスクにおける14種類の最先端の自己教師あり ImageNet モデルと教師あり ImageNet モデルの性能を比較すること。
• ImageNet モデルを医療画像で継続的に事前学習することで、自然画像と医療画像の間のドメインギャップを軽減できるかどうかを調査すること。
• 今後の医療画像における深層学習研究のための包括的かつオープンなベンチマークを提供すること。
• 医療画像分類およびセグメンテーションに適した事前学習モデルの選定と適応に関する実用的知見を提供すること。

提案手法

• 7つの多様な医療画像タスク（CT、レントゲン、眼底写真など複数モodal での分類およびセグメンテーションを含む）に対して、14種類の自己教師あり ImageNet モデルを微調整した。
• 270万枚の画像を1万種の生物にわたって含む大規模な細分化データセット iNat2021 で事前学習されたモデルを、医療タスクへの転移学習に用いた。
• NIH ChestX-Ray14 や CheXpert などの医療データセットを用いて、ImageNet モデルを医療ドメインに適応させるために、継続的（事前）学習を実施した。
• 各自己教師あり手法に一致する標準的なデータオーグメンテーション、プロジェクションヘッド、損失関数（例：コントラスト学習、NCE、Barlow Twins）を用いた。
• すべてのタスクで公式のデータ分割と標準的な評価指標（例：AUC、Diceスコア）を用い、公平な比較を確保した。
• 事前学習データの粒度とドメイン適応の影響を分析するためにアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 細分化された iNat2021 データで事前学習したモデルは、医療画像分類およびセグメンテーションタスクにおいて、教師あり ImageNet 事前学習と比較してどの程度の転送性能を示すか？
• RQ2 自己教師あり ImageNet モデルは医療画像解析タスクにおいて、教師あり ImageNet モデルを上回ることができるか。もし可能であれば、どのような条件下でそうなるか？
• RQ3 ImageNet モデルを医療画像で継続的に事前学習することで、自然画像と医療画像の間のドメインギャップをどの程度軽減できるか？
• RQ4 どの事前学習戦略が多様な医療画像タスクおよびモダリティにわたって、より強固で一般化可能な表現を生み出すか？
• RQ5 異なる事前学習アプローチが学習する局所的特徴と包括的特徴の相対的な強みは、医療画像解析においてどのように現れるか？

主な発見

• 細分化された iNat2021 データで事前学習されたモデルは、特に医療画像セグメンテーションタスクに有益な特徴的な局所的表現を学習する。
• 自己教師あり ImageNet モデルは、評価されたすべての医療画像タスクにおいて、平均性能で教師あり ImageNet ベースラインを上回っており、少なくとも3つのモデルがすべてのタスクでそれを上回っている。
• 教師あり ImageNet モデルを医療画像で継続的に事前学習することで、ドメインギャップが顕著に軽減され、下流の医療画像分類およびセグメンテーションタスクでの性能が向上した。
• 粗い粒度の ImageNet データで事前学習されたモデルは、分類タスクに適した高レベルの包括的特徴を学習する傾向がある一方、細分化された事前学習はセグメンテーションに役立つ局所的特徴の学習を強化する。
• 自己教師あり事前学習による性能向上は、医療画像分野におけるアノテーションコストを大幅に削減できる可能性を示しており、性能を損なわずに実現可能である。
• 本研究は、医療データを用いたドメイン適応的事前学習が、医療画像解析における転移学習の効果を高める極めて有効な戦略であることを確認した。