[論文レビュー] Surgical Fine-Tuning Improves Adaptation to Distribution Shifts

Yoonho Lee, Annie S. Chen+5 more|arXiv (Cornell University)|Oct 20, 2022

Domain Adaptation and Few-Shot Learning被引用数 47

ひとこと要約

論文は surgical fine-tuning を導入し、ニューラルネットワークの層のうち連続した小さな部分集合のみを、小規模なターゲットデータセットで微調整する手法を提示します。これにより、さまざまな分布シフトに対して全層微調整を上回る performance を示します。最も適切な層のサブセットはシフトの種類に依存し、理論的結果は入力シフトには最初の層の調整、出力シフトには最終層の調整が適していることを支持します。

ABSTRACT

A common approach to transfer learning under distribution shift is to fine-tune the last few layers of a pre-trained model, preserving learned features while also adapting to the new task. This paper shows that in such settings, selectively fine-tuning a subset of layers (which we term surgical fine-tuning) matches or outperforms commonly used fine-tuning approaches. Moreover, the type of distribution shift influences which subset is more effective to tune: for example, for image corruptions, fine-tuning only the first few layers works best. We validate our findings systematically across seven real-world data tasks spanning three types of distribution shifts. Theoretically, we prove that for two-layer neural networks in an idealized setting, first-layer tuning can outperform fine-tuning all layers. Intuitively, fine-tuning more parameters on a small target dataset can cause information learned during pre-training to be forgotten, and the relevant information depends on the type of shift.

研究の動機と目的

• 分布シフト下でのファインチューニングを動機付け、全層または最終層のみを微調整する標準的アプローチの制限を強調する。
• 外科的ファインチューニングを提案する：大部分の層を固定し、限られたターゲットデータで小さな連続サブセットを微調整して適応を改善する。
• 3つのシフトタイプにまたがる7つの実世界タスクを体系的に評価し、最も効果的な層サブセットを特定する。
• 層ごとに異なるシフトタイプに対する利点を説明する理論的洞察を提供し、2層ネットワーク解析を含む。
• 自動的な層選択基準の検討とその有効性の検証。

提案手法

• 外科的ファインチューニングを、他を凍結したまま選択された層のサブセット S のパラメータのみを最適化する手法として定義する。
• 最初のブロック・中間ブロック・最後のブロック・単一ブロックを含むさまざまな S の選択を、9つの実世界データセットで実験する。
• 限られたターゲットデータでファインチューニングした後、ターゲットドメインの精度で、全ての微調整や他のベースラインと比較する。
• 入力シフトと出力シフトを扱う際に、最初の層または最後の層の微調整がいつ有利かを示すために、2層ネットワークを理論的に解析する。
• 勾配統計に基づく自動的な層選択基準（Auto-RGN、Auto-SNR）を導入し、どの層を微調整するかを選択する。
• オンライン更新を伴う無監督・テスト時適応設定を評価し、早期層の調整が有益であることを示す。
• ターゲットデータを用いた早期停止を含む、ソースでの事前学習とターゲットでの微調整という標準的な訓練手順を使用する。

実験結果

リサーチクエスチョン

• RQ1 Surgical fine-tuning（層の小さなサブセットを微調整する手法）は、さまざまな分布シフトに対して全体微調整を上回るか。
• RQ2 異なるシフトタイプ（入力レベル・特徴レベル・出力レベル）のために、どの層サブセット（最初のブロック・中間ブロック・最後のブロック）が最も効果的か。
• RQ3 自動的な層選択基準は、全体微調整の性能に匹敵するかそれを上回るよう、微調整すべき層を信頼性高く特定できるか。
• RQ4 特定の分布シフト下で早い層と遅い層の調整が有利になる理由を説明する理論的根拠は何か。
• RQ5 無監督・テスト時適応シナリオでも、早い層の Surgical fine-tuning が有効か。

主な発見

パラメータ	Camelyon17	FMoW
No fine-tuning	86.2	35.5
All	92.3 (1.7)	38.9 (0.5)
Embedding	95.6 (0.4)	36.0 (0.1)
First three	92.5 (0.5)	39.8 (1.0)
Last three	87.5 (4.1)	44.9 (2.6)
Last layer	90.1 (1.5)	36.9 (5.5)

• Surgical fine-tuning は、1つのブロックを用いる構成で、すべてのテスト領域を跨いで全体微調整を常に上回る。
• 最適化されるブロックはシフトのタイプによって異なる：入力レベルのシフトにはより前の層、中間ブロックは特徴レベル、後段ブロックは出力レベルのシフトで有利。
• CIFAR-10/CIFAR-10-C において、最初のブロックの微調整は、ターゲットデータ量の変化に対して全体微調整と同等またはそれを超える。
• 7つの実世界データセットにおいて、シフトタイプに応じた動的な層選択は、全パラメータを微調整するより優れた性能を示す。
• Relative Gradient Norm（Auto-RGN）を用いた自動選択は、しばしば全体微調整と同等かそれを上回り、クロスバリデーションによるブロック選択と競合する。
• 理論的結果は、最初の層のみを微調整する条件下でターゲット損失をゼロにできるケースを示し、全体微調整が失敗する場合があること、最後の層の調整がラベルの摂動をより良く扱うケースがあることを示す。