[論文レビュー] Robust fine-tuning of zero-shot models

Mitchell Wortsman, Gabriel Ilharco+9 more|arXiv (Cornell University)|Sep 4, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

この論文では、ゼロショット事前学習モデルの重みとファインチューニング済みモデルの重みの間を線形補間する、ロバストなファインチューニング手法WiSE-FTを提案する。この手法により、分布シフト下でも顕著な性能向上が達成され、ターゲット分布における精度は維持または向上する。5つのImageNet分布シフトにおいて4–6百分率ポイントのロバスト性向上を達成し、転移学習ベンチマークでは0.8–3.3百分率ポイントの向上を示す。推論コストは追加で発生しない。

ABSTRACT

Large pre-trained models such as CLIP or ALIGN offer consistent accuracy across a range of data distributions when performing zero-shot inference (i.e., without fine-tuning on a specific dataset). Although existing fine-tuning methods substantially improve accuracy on a given target distribution, they often reduce robustness to distribution shifts. We address this tension by introducing a simple and effective method for improving robustness while fine-tuning: ensembling the weights of the zero-shot and fine-tuned models (WiSE-FT). Compared to standard fine-tuning, WiSE-FT provides large accuracy improvements under distribution shift, while preserving high accuracy on the target distribution. On ImageNet and five derived distribution shifts, WiSE-FT improves accuracy under distribution shift by 4 to 6 percentage points (pp) over prior work while increasing ImageNet accuracy by 1.6 pp. WiSE-FT achieves similarly large robustness gains (2 to 23 pp) on a diverse set of six further distribution shifts, and accuracy gains of 0.8 to 3.3 pp compared to standard fine-tuning on seven commonly used transfer learning datasets. These improvements come at no additional computational cost during fine-tuning or inference.

研究の動機と目的

• 標準的なファインチューニングにおける、ターゲット分布における精度向上と分布シフトに対するロバストネス低下のトレードオフを解消すること。
• ターゲット分布における高い精度を維持しながら、分布シフト下でのロバストネスを向上させる、シンプルで効果的な手法を開発すること。
• ハイパーパramータのチューニング依存度を低減するため、ハイパーパramータの変動に対してロバストな手法を導入すること。
• ゼロショットモデルとファインチューニング済みモデルの間で重み空間アンサンブルをとることで、標準的なファインチューニングよりも優れた一般化性能が得られることを示すこと。

提案手法

• 標準的なエンドツーエンドまたはラストレイヤーファインチューニングをターゲット分布上で実行し、ファインチューニング済みモデルを取得する。
• 混合係数 α ∈ [0,1] を用いて、ゼロショットモデルとファインチューニング済みモデルの学習済み重みを線形補間することで、重み空間アンサンブルを構築する。
• 最終的なモデルは θ_α = (1−α)θ_zero-shot + αθ_fine-tuned で定義され、α はターゲット分布におけるバリデーション性能に基づいて選択される。
• このアプローチは計算的に効率的であり、標準的なファインチューニングに加えて、追加のトレーニングや推論コストを必要としない。
• ゼロショットモデルとファインチューニング済みモデルの間の多様性は、KLダイバージェンス、Cohen’s Kappa補数、およびセンター化カーネル整合性補数（CKAC）といった複数の指標を用いて測定される。
• 理論的分析により、NTK領域では重み空間アンサンブルが出力空間アンサンブルを近似することが示され、非凸設定下での有効性が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングを、ゼロショットモデルの分布シフトに対するロバストネスを損なわせることなく行えるか？
• RQ2 ファインチューニングにおけるハイパーパramータの選択がロバストネスに与える影響は何か？ そして、単純な補間手法によってこれを緩和できるか？
• RQ3 ゼロショットモデルとファインチューニング済みモデルの間で、重み空間における線形補間が、分布シフトにわたる一般化性能を向上させるか？
• RQ4 WiSE-FTは、多様な分布シフトにおいて、標準的なファインチューニングや先行するロバストネス手法をどの程度上回るか？

主な発見

• WiSE-FTは、5つのImageNet分布シフト（ImageNetV2、ImageNet-R、ImageNet-Sketch、ObjectNet、ImageNet-A）において、先行研究と比較して平均で4～6百分率ポイントの精度向上を達成した。
• ImageNetベンチマークでは、標準的なファインチューニングと比較して1.6百分率ポイントの精度向上を達成したが、ロバストネスの向上も維持した。
• 追加の6つの分布シフトにおいて、WiSE-FTは2～23百分率ポイントのロバストネス向上を達成した。
• 7つの一般的な転移学習データセットにおいて、WiSE-FTは標準的なファインチューニングと比較して0.8～3.3百分率ポイントの精度向上を達成した。
• 最良の α はターゲット分布の性能のみに基づいて選択可能であり、この手法はハイパーパramータの選択に対してロバストである。
• NTK領域では重み空間アンサンブルが出力空間アンサンブルを近似するため、この手法の実験的成功に対する理論的裏付けが得られた。