[論文レビュー] Head2Toe: Utilizing Intermediate Representations for Better Transfer Learning

Utku Evci, Vincent Dumoulin+2 more|arXiv (Cornell University)|Jan 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

Head2Toeは、事前学習モデルの全層から最適な中間特徴を選択することで、線形プローブの性能を向上させる画期的な転移学習手法を提案する。全微調整と同等の性能を達成するとともに、トレーニングにかかるFLOPsを99.4%削減し、ストレージコストを99%削減する。また、分布外（OOD）の転移タスクにおいても微調整を上回り、分布外一般化には全微調整が必要であるという仮定に疑問を呈する。

ABSTRACT

Transfer-learning methods aim to improve performance in a data-scarce target domain using a model pretrained on a data-rich source domain. A cost-efficient strategy, linear probing, involves freezing the source model and training a new classification head for the target domain. This strategy is outperformed by a more costly but state-of-the-art method -- fine-tuning all parameters of the source model to the target domain -- possibly because fine-tuning allows the model to leverage useful information from intermediate layers which is otherwise discarded by the later pretrained layers. We explore the hypothesis that these intermediate layers might be directly exploited. We propose a method, Head-to-Toe probing (Head2Toe), that selects features from all layers of the source model to train a classification head for the target-domain. In evaluations on the VTAB-1k, Head2Toe matches performance obtained with fine-tuning on average while reducing training and storage cost hundred folds or more, but critically, for out-of-distribution transfer, Head2Toe outperforms fine-tuning.

研究の動機と目的

• 低データの転移学習状況において、線形プローブと微調整の間の性能格差を是正すること。
• 事前学習モデルの中間表現に、ネットワーク全体を微調整せずに直接利用可能な有用な特徴が含まれるかどうかを調査すること。
• トレーニングおよびストレージコストを著しく削減しながら、微調整の性能に匹敵するコスト効率の高い手法を開発すること。
• 中間層からの特徴選択が、分布外（OOD）のターゲットドメインにおける一般化性能を向上させるかどうかを評価すること。
• 強いOOD一般化を達成するには全微調整が必要であるという従来の信念に挑戦すること。

提案手法

• Head2Toeは、教師ありで埋め込み特徴選択のアプローチを用いて、事前学習モデルの全層（最終埋め込み層を含む）から最も関連性の高い特徴を選択する。
• 特徴選択問題を、ℓ2,1-正則化を用いた最適化タスクとして定式化し、情報量の多い中間表現を同定する。
• 選択された特徴に対して1つの線形分類ヘッドをトレーニングすることで、効率的なダウンストリーム適応を実現する。
• 各ステップでの再トレーニングを避けるために、微分可能代理関数を用いたグリーディー前向き選択戦略を特徴とする。
• ResNet-50およびViT-B/16バックボーンを用いて、ImageNet-2012で事前学習されたモデルを用いてVTABベンチマークで評価する。
• 本手法は、アダプターやプルーニングなどの既存の効率的微調整手法と互換性があり、それらと併用可能である。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルの中間表現を、ネットワーク全体を微調整せずに直接活用することで、転移学習の性能を向上させることができるか？
• RQ2 事前学習ネットワークの複数層からの特徴選択は、標準的な線形プローブよりも性能を向上させるか？
• RQ3 Head2Toeの性能は、精度と計算コストの観点から、全微調整と比べてどうか？
• RQ4 Head2Toeは、分布外（OOD）の転移タスクにおいて、微調整を上回る性能を示すか？
• RQ5 単純で効率的な特徴選択手法は、高コストな全微調整の性能に匹敵しつつ、FLOPsとストレージを桁違いに削減できるか？

主な発見

• Head2ToeはVTABベンチマーク全体で全微調整の平均性能に匹敵し、著しく低いコストで最先端の精度を達成した。
• 平均して、Head2Toeは全微調整と比較してトレーニングにかかるFLOPsを99.4%削減し、ストレージコストを99%削減しながらも、競争力のある性能を維持した。
• Head2Toeは、特にImageNetとのドメイン類縁度が低いタスクにおいて、分布外（OOD）のターゲットドメインで微調整を上回った。
• 線形プローブに対する向上は、OODタスクで顕著であり、ドメインシフトが大きくなるほどその恩恵が増大し、このような状況下で中間特徴の価値が裏付けられた。
• 本手法は、畳み込み型（ResNet-50）およびビジョントランスフォーマー（ViT-B/16）の両方のアーキテクチャにわたり、強力な一般化性能を示した。
• 性能向上の背景には、標準的な線形プローブで捨てられる深層部に埋め込まれた判別性の高い特徴にアクセス・利用できる能力があると考察された。