[論文レビュー] CheXtransfer: Performance and Parameter Efficiency of ImageNet Models for Chest X-Ray Interpretation

Alexander Ke, William L. Ellsworth+3 more|arXiv (Cornell University)|Jan 18, 2021

COVID-19 diagnosis using AI参考文献 21被引用数 23

ひとこと要約

本研究では、16種類のImageNet事前学習モデルをCheXpert胸部レントゲン画像データセットに適用し、転移性能とパラメータ効率性を評価した。ImageNetとCheXpertの性能には相関がなく、非事前学習モデルではアーキテクチャファミリーがサイズよりも重要であることが示された。事前学習は性能を向上させるが、特に小型モデルで顕著であり、最終層を切り詰めることでパラメータ効率性が3.25倍向上し、性能に損なわれることなく実現された。

ABSTRACT

Deep learning methods for chest X-ray interpretation typically rely on pretrained models developed for ImageNet. This paradigm assumes that better ImageNet architectures perform better on chest X-ray tasks and that ImageNet-pretrained weights provide a performance boost over random initialization. In this work, we compare the transfer performance and parameter efficiency of 16 popular convolutional architectures on a large chest X-ray dataset (CheXpert) to investigate these assumptions. First, we find no relationship between ImageNet performance and CheXpert performance for both models without pretraining and models with pretraining. Second, we find that, for models without pretraining, the choice of model family influences performance more than size within a family for medical imaging tasks. Third, we observe that ImageNet pretraining yields a statistically significant boost in performance across architectures, with a higher boost for smaller architectures. Fourth, we examine whether ImageNet architectures are unnecessarily large for CheXpert by truncating final blocks from pretrained models, and find that we can make models 3.25x more parameter-efficient on average without a statistically significant drop in performance. Our work contributes new experimental evidence about the relation of ImageNet to chest x-ray interpretation performance.

研究の動機と目的

• より良い性能を示すImageNetアーキテクチャが、胸部レントゲン画像解釈タスクでもより良い性能を示すかどうかを調査すること。
• 特にモデルサイズに応じて、ImageNet事前学習が医療画像モデルの性能に有意に向上効果をもたらすかどうかを評価すること。
• ImageNet事前学習モデルがCheXpertに対して過剰に巨大であるかどうかを、モデルの切り詰めによるパラメータ効率性のテストを通じて評価すること。
• 事前学習が行われない状況で、アーキテクチャファミリーとモデルサイズのどちらが医療画像分野での性能により大きな影響を与えるかを特定すること。
• モデル切り詰めが、解釈可能性を高める高解像度のクラス活性化マップを提供することで、性能を維持したままパラメータ効率性を向上させ、臨床的信頼性を向上させる可能性を検討すること。

提案手法

• ResNet、DenseNet、EfficientNet、MobileNetなど16種類の代表的な畳み込みニューラルネットワークアーキテクチャを、CheXpertデータセット上で事前学習あり・なしの両状態で学習した。
• 12のCheXpert分類タスクにおける受信者操作特性曲線下積分（AUC）を用いてモデル性能を比較し、タスク間で結果を統合した。
• 事前学習モデルの最終ブロック（例：最後の全結合層やプーリング層）を系統的に切り詰めることで、パラメータ効率性を測定した。
• Spearmanの順位相関係数を用い、ImageNet精度とCheXpert AUCの関係、およびモデルサイズと事前学習による性能向上の関係を評価した。
• 切り詰められたモデルからクラス活性化マップ（CAMs）を生成し、病変の空間的局在化と解釈可能性を評価した。
• 有意性を確認するため、対応t検定などの統計的検定を用い、事前学習による性能向上の有意性および切り詰め後の性能低下の有無を検証した。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャ間で、ImageNet性能とCheXpert性能の間に統計的に有意な相関が存在するか？
• RQ2 モデルがランダム初期化でCheXpert上で学習される場合、モデルファミリーの選択とモデルサイズのどちらが性能により大きな影響を与えるか？
• RQ3 ImageNet事前学習はCheXpert上で統計的に有意な性能向上をもたらすか？また、その向上効果はモデルサイズに応じて変化するか？
• RQ4 ImageNet事前学習モデルの最終ブロックを切り詰めることで、性能に著しい低下を来さずにパラメータ効率性を向上させられるか？
• RQ5 モデル切り詰めにより、高解像度のクラス活性化マップが得られ、病変の局在化が向上し、臨床的信頼性が向上する可能性があるか？

主な発見

• 事前学習なしのモデルではSpearmanのρ = 0.08、事前学習ありでもρ = 0.06であり、ImageNet性能とCheXpert性能の間に統計的に有意な関係は認められなかった。
• 事前学習なしのモデルでは、ファミリー内でのモデルサイズによる性能差は極めて小さい（例：ResNetではΔAUC = 0.005）が、ファミリー間の差は0.006以上に達し、アーキテクチャファミリーがサイズよりも性能に与える影響が大きいことが示された。
• ImageNet事前学習は全16アーキテクチャで平均してAUCを0.016向上させ、統計的に有意な向上であった。特に小型モデルではより顕著な向上が見られ、パrameter数と性能向上の間にSpearmanのρ = -0.72の相関が確認された。
• 事前学習モデルの最終ブロックを切り詰めることで、平均してパラメータ効率性が3.25倍向上し、性能に統計的に有意な低下は認められなかった。これにより、より軽量なモデルが実現可能になった。
• 切り詰められたモデルは高解像度のクラス活性化マップを生成し、病変の局在化が向上し、解釈可能性が向上することで臨床的信頼性が向上する可能性がある。
• EfficientNet や MobileNet といった、ImageNet上で探索された最新アーキテクチャは、CheXpertではDenseNet や ResNet よりも性能が劣っており、ImageNetが医療画像分野のアーキテクチャ選定の適切なベンチマークとは言えない可能性を示唆している。