[論文レビュー] A linearized framework and a new benchmark for model selection for fine-tuning

Aditya Deshpande, Alessandro Achille+7 more|arXiv (Cornell University)|Jan 29, 2021

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本稿では、少データファインチューニングにおけるモデル選択のための線形化フレームワークを提案し、単純ながら効果的なベースラインとしてラベル勾配相関（LGC）とラベル特徴相関（LFC）を導入する。これらの手法は、実際のファインチューニング精度との順位相関が高く、モデルズーから最適なモデルを選択するために必要な試行回数が少なく、従来の手法やブルートフォースファインチューニングを上回り、低データ環境下で優れた性能を示す。

ABSTRACT

Fine-tuning from a collection of models pre-trained on different domains (a "model zoo") is emerging as a technique to improve test accuracy in the low-data regime. However, model selection, i.e. how to pre-select the right model to fine-tune from a model zoo without performing any training, remains an open topic. We use a linearized framework to approximate fine-tuning, and introduce two new baselines for model selection -- Label-Gradient and Label-Feature Correlation. Since all model selection algorithms in the literature have been tested on different use-cases and never compared directly, we introduce a new comprehensive benchmark for model selection comprising of: i) A model zoo of single and multi-domain models, and ii) Many target tasks. Our benchmark highlights accuracy gain with model zoo compared to fine-tuning Imagenet models. We show our model selection baseline can select optimal models to fine-tune in few selections and has the highest ranking correlation to fine-tuning accuracy compared to existing algorithms.

研究の動機と目的

• ファインチューニングにおけるモデル選択という未解決の問題に取り組む。特に、トレーニングを伴わずにモデルズーから最良の事前学習モデルを選択することが重要である。
• 事前学習重みの周辺での線形化を用いて、ファインチューニングの挙動を近似する理論的かつ実験的フレームワークを構築する。
• 公平にモデル選択手法を比較できるよう、多様なモデルズーと複数のターゲットタスクを備えた包括的なベンチマークを構築する。
• 統一された設定で最先端のモデル選択手法と、新規ベースライン（LGCおよびLFC）を評価・比較する。
• 単純な線形化された指標が、ファインチューニングの最適なモデル選択において、複雑な手法を凌駕または同等に達成できることを示す。

提案手法

• 本稿では、ニューラル接線カーネル（NTK）を用いたファインチューニングプロセスの線形化近似を用い、事前学習重みの周辺におけるモデル挙動を分析する。
• 2つのモデル選択基準を導出する：ラベル勾配相関（LGC）は、ラベルベクトルと勾配方向の整合性を測定し、ラベル特徴相関（LFC）は、ラベルベクトルと特徴表現の相関を測定する。
• 8つの多様な画像データセットから構成される大規模なベンチマークを構築し、単一およびマルチドメインのエキスパートから成るモデルズーを形成する。
• モデル選択の性能は、最良のモデルを選択するために必要な試行回数と、モデル選択スコアと実際のファインチューニング精度とのスピアマン順位相関を測定することで評価する。
• 完全なファインチューニングを実行せずにモデルをランク付けできるため、計算コストを削減できる。
• 実験では、LFC、LGC、および既存手法（LEEP、RSA、ドメイン類似度、特徴量メトリクス）を、フルデータおよび少データ環境下で比較する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングの線形化近似は、完全なファインチューニングを伴わずに、モデル選択を効果的に導けるか？
• RQ2 LGCおよびLFCは、従来のモデル選択手法と比較して、精度および選択効率の面で優れているか？
• RQ3 ドメイン特化エキスパートから成るモデルズーを用いることで、特に低データ環境下において、ImageNet事前学習モデルを用いたファインチューニングと比較して、精度が向上するか？
• RQ4 モデル選択スコアは、実際のファインチューニング性能とどの程度相関しているか？
• RQ5 モデル選択は、ファインチューニングに最適なモデルを特定するために必要な試行回数を削減できるか？

主な発見

• 提案されたモデルズーからのファインチューニングは、標準的なImageNet事前学習モデルを用いたファインチューニングを上回り、特に低データ環境（5, 10, 20ショット）下で、より低いテスト誤差を達成する。
• LFCおよびLGCは、全ターゲットタスクにおいて、実際のファインチューニング精度とのスピアマン順位相関が最大（0.85～0.90）を示し、RSA、LEEP、ドメイン類似度を上回る。
• 単一ドメインのモデルズー（30エキスパート）から最良のモデルを選択するにはLFCおよびLGCが7回未満の試行で十分であり、マルチドメインのモデルズー（8エキスパート）では3回未満の試行で十分である。
• LFCおよびLEEPを用いたモデル選択により、ブルートフォースファインチューニングの必要性が大幅に削減され、計算コストを節約しながらも、精度を維持または向上できる。
• モデルズーのアプローチは、ImageNet事前学習ResNet-101におけるハイパーパramータ最適化（HPO）よりも高い精度向上を達成しており、特に低データ環境下で顕著である。
• LFCスコアは、ファインチューニング精度の優れた代理指標となり、トレーニングを伴わずとも信頼性の高いモデルランク付けと選択が可能である。