[論文レビュー] Fixing the train-test resolution discrepancy: FixEfficientNet

Hugo Touvron, Andrea Vedaldi+2 more|arXiv (Cornell University)|Mar 18, 2020

Image Processing Techniques and Applications参考文献 16被引用数 67

ひとこと要約

この論文は FixRes を EfficientNet に適用して訓練と推論の解像度を揃え、FixEfficientNet を生み出す。これにより、パラメータフットプリントが有利な状態で ImageNet 精度の最先端を達成し、88.5% top-1 with L2 および 98.7% top-5 を含む。

ABSTRACT

This paper provides an extensive analysis of the performance of the EfficientNet image classifiers with several recent training procedures, in particular one that corrects the discrepancy between train and test images. The resulting network, called FixEfficientNet, significantly outperforms the initial architecture with the same number of parameters. For instance, our FixEfficientNet-B0 trained without additional training data achieves 79.3% top-1 accuracy on ImageNet with 5.3M parameters. This is a +0.5% absolute improvement over the Noisy student EfficientNet-B0 trained with 300M unlabeled images. An EfficientNet-L2 pre-trained with weak supervision on 300M unlabeled images and further optimized with FixRes achieves 88.5% top-1 accuracy (top-5: 98.7%), which establishes the new state of the art for ImageNet with a single crop. These improvements are thoroughly evaluated with cleaner protocols than the one usually employed for Imagenet, and particular we show that our improvement remains in the experimental setting of ImageNet-v2, that is less prone to overfitting, and with ImageNet Real Labels. In both cases we also establish the new state of the art.

研究の動機と目的

• RoCs（Regions of Classification）とクロップが異なることによって生じる訓練-推論分布の不一致を低減する動機づけ。
• FixRes のファインチューニングを EfficientNet に適用することが、モデル尺度全体で精度にどう影響するかを評価する。
• よりクリーンな評価プロトコルの下で、外部データの有無にかかわらず ImageNet での性能を確立する。
• 頑健性を検証するため、ImageNet-V2 および ImageNet Real Labels での評価を通じて一般化を評価する。

提案手法

• ターゲット解像度で分類器（またはトップ層）を再学習させることで、FixRes ファインチューニングを EfficientNet アーキテクチャに適用する。
• FixRes データ拡張を使用し、ファインチューニング時にラベル平滑化と組み合わせる。
• EfficientNet の事前学習モデルを起点に、ImageNet-2012 を単一クロップの top-1/top-5 指標で評価する。
• 外部データの有無にかかわらず、Noisy Student および AdvProp などの EfficientNet ベースラインと比較する。
• ImageNet-V2 Matched Frequency や ImageNet Real Labels を含む、よりクリーンな評価設定で改善を検証する。

実験結果

リサーチクエスチョン

• RQ1 FixRes ファインチューニングは、ImageNet における異なるモデルサイズ（B0–L2）で EfficientNet の性能にどう影響しますか？
• RQ2 標準の ImageNet-val の結果を超えて、ImageNet-V2 および ImageNet Real Labels で測定した場合、FixEfficientNet アプローチは一般化を改善しますか？
• RQ3 EfficientNet に FixRes を組み合わせた場合、外部データを除去することと 300M のラベルなし画像を使用することの影響はどのようですか？
• RQ4 クリーンな評価プロトコルの下で、FixEfficientNet は Adversarial training や Noisy Student を含む従来の最先端の EfficientNet 版とどう比較されますか？

主な発見

• FixEfficientNet-B0 は追加データなしで ImageNet において Top-1 79.3%、Top-5 94.6% を達成（EfficientNet-B0 は 77.6%/93.3%）。
• FixEfficientNet-L2 は extra data を用いて ImageNet で 88.5% Top-1、98.7% Top-5 を達成（Table 1 最終行でも 88.5%/98.7%）。
• 外部データなしの ImageNet では、AdvProp を用いた EfficientNet を上回る。B0–B7 の例では、例えば B7: 85.3% Top-1（EfficientNet-B7 は 85.2%）
• FixEfficientNet-L2 は ImageNet における新しい単一クロップの最先端結果を達成（Top-1 88.5%、Top-5 98.7%）。
• クリーンラベルで、FixEfficientNet-L2 は 90.9% Top-1、98.8% Top-5 を達成し、先行研究を上回る。
• ImageNet-V2 Matched Frequency 全体で、FixEfficientNet の派生は強力な一般化を示し、EfficientNet ベースラインを上回る。