[論文レビュー] Diverse Imagenet Models Transfer Better

Niv Nayman, Avram Golbert+3 more|arXiv (Cornell University)|Apr 19, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文では、画像分類モデルの転移性能において、ImageNet精度に加えて特徴の多様性が重要な要因であると提唱している。制御的ラベルインジェクション（CLI）を導入することで、高精度なImageNet精度と高特徴多様性を併せ持つモデルを生成し、CNNおよびビジョントランスフォーマーにおいて多様な下流タスクで、精度のみに依存するものよりも優れた転移性能予測が可能な補正済みスコア（CIS）を実現した。

ABSTRACT

A commonly accepted hypothesis is that models with higher accuracy on Imagenet perform better on other downstream tasks, leading to much research dedicated to optimizing Imagenet accuracy. Recently this hypothesis has been challenged by evidence showing that self-supervised models transfer better than their supervised counterparts, despite their inferior Imagenet accuracy. This calls for identifying the additional factors, on top of Imagenet accuracy, that make models transferable. In this work we show that high diversity of the features learnt by the model promotes transferability jointly with Imagenet accuracy. Encouraged by the recent transferability results of self-supervised models, we propose a method that combines self-supervised and supervised pretraining to generate models with both high diversity and high accuracy, and as a result high transferability. We demonstrate our results on several architectures and multiple downstream tasks, including both single-label and multi-label classification.

研究の動機と目的

• ImageNet精度を超える要因として、転移性能に寄与する要因を同定すること。
• 自己教師ありモデルにおいて、特徴多様性が転移性能の主要な予測要因であることを検証すること。
• 事前学習モデルにおける精度と多様性の間で制御可能なトレードオフを実現する手法を開発すること。
• ImageNet精度と特徴多様性の積（CIS）が、精度のみに依存するものよりも、転移性能をより強く相関づけることを示すこと。
• CLIによって生成されたモデルが、複数の下流タスクにおいて標準的な微調整およびハイブリッド事前学習手法を上回ることを示すこと。

提案手法

• ImageNet精度と特徴多様性の積として、補正済みImageNetスコア（CIS）を定義：CIS = ImageNet精度 × 特徴多様性。
• 自己教師あり事前学習モデルにラベル情報を制御的にインジェクションすることで、特徴多様性と精度を調整可能な、制御的ラベルインジェクション（CLI）を提案。
• 特徴多様性の2つの定式化を用いる：(1) クラス間特徴分散、(2) クラス内特徴分散、これにより特徴の多様性を測定。
• 制御サイクル値（T）を変化させながらCLIでモデルを学習し、自己教師ありの不変性を保ちつつ徐々に教師あり信号をインジェクションする。
• MS-COCOを含む14の単一ラベルおよびマルチラベル分類データセットで、線形プロービングおよび微調整を用いて転移性能を評価。
• 精度と多様性の両面で差を明確にするために、標準的な教師あり、自己教師あり、ハイブリッド事前学習ベースラインとCLI生成モデルを比較。

実験結果

リサーチクエスチョン

• RQ1 特徴多様性は、ImageNet精度を超えて、独立して転移性能に寄与するか？
• RQ2 教師ありと自己教師あり信号をバランスさせるハイブリッド事前学習戦略は、転移性能を向上させられるか？
• RQ3 ImageNet精度と特徴多様性の最適なトレードオフは、転移性能を最大化するか？
• RQ4 補正済みImageNetスコア（CIS）は、CKAや分類分離度といった他の指標と比較して、転移性能の予測に優れているか？
• RQ5 制御的ラベルインジェクション（CLI）は、高精度と高多様性を併せ持つモデルを生成でき、下流タスクでの性能を向上させられるか？

主な発見

• ImageNet精度と特徴多様性を組み合わせた補正済みImageNetスコア（CIS）は、ImageNet精度のみに比べて、転移性能との相関が顕著に強い。
• CLIによって生成されたモデルは、ImageNet精度が類似しているにもかかわらず、標準的な教師ありまたは自己教師ありモデルを上回る転移性能を達成している。
• MS-COCOマルチラベル分類ベンチマークでは、CLI生成モデルがベースラインを最大3.5%のトップ1精度で上回っている。
• MAEで事前学習されたViTモデルでは、CLIが高特徴多様性を維持しながらImageNet精度を向上させ、結果としてCISと転移性能が向上した。
• DINOで事前学習されたViTでは、CLIが同時に精度と多様性を向上させ、T=2とT=1のモデルでは精度は同一だが、多様性の違いにより転移性能に差が生じた。
• CIS指標は、アーキテクチャ（ResNetsとViTs）、事前学習手法（MoCo-v2, SimCLR, SwAV, DINO, MAE）、および下流タスクを問わず、高性能なモデルを的確に特定できた。