[論文レビュー] Do Better ImageNet Models Transfer Better?

Simon Kornblith, Jonathon Shlens+1 more|arXiv (Cornell University)|May 23, 2018

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

この論文は、より優れた性能を示すImageNetモデルが他のビジョンタスクへより効果的に転移するかを調査している。12のデータセットで16のCNNアーキテクチャを用いて分析した結果、固定特徴量を用いる場合、ImageNetの精度と転移性能の間に強い相関（r=0.99）が見られたが、ImageNet精度を向上させる正則化技術は、転移可能性を損なうことがあることが明らかになった。研究では、ImageNet特徴量が想定していたほど広く一般化されていないことが判明し、特に細分化されたデータセットでは微調整による利益がランダム初期化とほとんど差がないことが示された。

ABSTRACT

Transfer learning is a cornerstone of computer vision, yet little work has been done to evaluate the relationship between architecture and transfer. An implicit hypothesis in modern computer vision research is that models that perform better on ImageNet necessarily perform better on other vision tasks. However, this hypothesis has never been systematically tested. Here, we compare the performance of 16 classification networks on 12 image classification datasets. We find that, when networks are used as fixed feature extractors or fine-tuned, there is a strong correlation between ImageNet accuracy and transfer accuracy ($r = 0.99$ and $0.96$, respectively). In the former setting, we find that this relationship is very sensitive to the way in which networks are trained on ImageNet; many common forms of regularization slightly improve ImageNet accuracy but yield penultimate layer features that are much worse for transfer learning. Additionally, we find that, on two small fine-grained image classification datasets, pretraining on ImageNet provides minimal benefits, indicating the learned features from ImageNet do not transfer well to fine-grained tasks. Together, our results show that ImageNet architectures generalize well across datasets, but ImageNet features are less general than previously suggested.

研究の動機と目的

• より優れたImageNetモデルが他のビジョンタスクに一般化しやすいという広く共有された仮定を検証すること。
• ImageNet上でアーキテクチャの改善や正則化を施した場合、転移学習性能にどのように影響するかを評価すること。
• 微調整によるImageNet事前学習が、特に細分化されたデータセットを含む多様なデータセットにおいて一貫した利点を提供するかを調査すること。
• ImageNetの分布外での特徴量の一般化能力を評価すること。

提案手法

• 著者らは、ImageNetで16の現代的なCNNアーキテクチャを訓練・評価し、その後、12の下流画像分類データセットで固定特徴量抽出器として使用した。
• 同じImageNet事前学習済みネットワークを12の下流データセットの各々で微調整して、異なる設定下での転移性能を比較した。
• 最終層の直前特徴量に対する線形分類とフルネットワークの微調整を比較し、各データセットでの精度を測定した。
• ドロップアウトや重み減衰などの異なる正則化技術が、ImageNet精度および下流の転移性能に与える影響を分析した。
• ロジット変換と相関分析（ピアソンのr）を用いて、ImageNet精度と転移精度の関係を定量化した。
• 高クラス内変動性を持つ低データ量の設定で、転移性をテストするために2つの小さな細分化データセット（Birdsnap, Flowers）を評価した。

実験結果

リサーチクエスチョン

• RQ1 固定特徴量を用いる場合、ImageNetトップ-1精度と転移性能の間に強い相関があるか？
• RQ2 ドロップアウトや重み減衰などの正則化技術によるImageNet精度の向上が、最終層の直前特徴量の転移可能性を向上させるか？
• RQ3 ランダム初期化と比較して、ImageNet事前学習からの微調整が下流タスクの性能をどの程度向上させるか？
• RQ4 高クラス内変動性を示す細分化画像分類タスクにおいて、ImageNet特徴量はどの程度転移するか？
• RQ5 特徴量の転移がうまくいかない場合でも、より優れたImageNetアーキテクチャは下流タスクで依然として優れた性能を発揮するか？

主な発見

• 12のデータセットで固定された最終層の直前特徴量を用いる場合、ImageNetトップ-1精度と転移精度の間に極めて強い相関（r=0.99）が確認された。
• ドロップアウトや重み減衰などの正則化技術がImageNet精度をわずかに向上させる一方で、転移学習のための特徴量品質が低下することが多く、ImageNet性能と転移性能の間にはトレードオフがあることが示された。
• ImageNet初期化からの微調整では、ImageNet精度と下流の転移精度の間に高い相関（r=0.96）が得られ、標準的な微調整設定における仮説が裏付けられた。
• 2つの細分化分類データセット（BirdsnapとFlowers）では、ImageNetからの微調整がランダム初期化よりも性能向上にほとんど寄与しなかったため、細分化タスクへの特徴量転移が不十分であることが示された。
• 特徴量の転移がうまくいかない場合でも、より優れたImageNetアーキテクチャは依然として下流タスクで高い精度を達成しており、アーキテクチャの能力そのものが性能に寄与していることが示唆された。
• 本研究では、ImageNetモデルが広範なビジョンタスクにおいて一般化できる一方で、特に細分化認識においては、従来の認識よりも特徴量の一般化能が低いことが判明した。