[論文レビュー] Improved Regularization and Robustness for Fine-tuning in Neural Networks

Dongyue Li, Hongyang R. Zhang|arXiv (Cornell University)|Nov 8, 2021

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本論文では、層ごとの重み正則化と動的ラベル補正を組み合わせることで、微調整のロバスト性と一般化性能を向上させる正則化自己ラベリング手法であるRegSLを提案する。各層の重み更新を制約し、モデルの予測を用いて誤ラベルの例を補正することで、過学習と記憶の抑制を実現し、画像タスクではベースライン比で平均1.76%の精度向上、ノイズのあるデータセットでは3.56%の向上を達成した。

ABSTRACT

A widely used algorithm for transfer learning is fine-tuning, where a pre-trained model is fine-tuned on a target task with a small amount of labeled data. When the capacity of the pre-trained model is significantly larger than the size of the target dataset, fine-tuning is prone to overfitting and memorizing the training labels. Hence, a crucial question is to regularize fine-tuning and ensure its robustness against noise. To address this question, we begin by analyzing the generalization properties of fine-tuning. We present a PAC-Bayes generalization bound that depends on the distance traveled in each layer during fine-tuning and the noise stability of the fine-tuned model. We empirically measure these quantities. Based on the analysis, we propose regularized self-labeling -- the interpolation between regularization and self-labeling methods, including (i) layer-wise regularization to constrain the distance traveled in each layer; (ii) self-label-correction and label-reweighting to correct mislabeled data points (that the model is confident) and reweight less confident data points. We validate our approach on an extensive collection of image and text datasets using multiple pre-trained model architectures. Our approach improves baseline methods by 1.76% (on average) for seven image classification tasks and 0.75% for a few-shot classification task. When the target data set includes noisy labels, our approach outperforms baseline methods by an average of 3.56% in two noisy settings.

研究の動機と目的

• 事前学習モデルがターゲットデータセットよりもはるかに大きい場合の微調整における過学習とラベル記憶の問題を解決すること。
• 弱い教師信号によって誤りが生じる状況でも、転移学習におけるラベルノイズへのロバスト性を向上させること。
• 正則化と自己ラベリングのバランスを取ることで、低データ環境における一般化性能を向上させる手法を開発すること。
• PAC-Bayesian境界を用いた微調整の理論的分析を行い、モデルの安定性と重みのシフトを一般化に結びつけること。
• 少数サンプル学習や医療画像分野を含む多様な視覚的・言語的タスクにおいて、手法の実証的妥当性を検証すること。

提案手法

• 微調整中に各層が移動したℓ₂距離とモデルのノイズ安定性に依存するPAC-Bayesian一般化境界を提案する。
• 各層の重み更新のℓ₂ノルムを制約することで、層ごとの正則化を導入し、過学習を低減する。
• モデルが非常に自信を持っているがラベルが誤っているデータポイントに対して自己ラベル補正を実施する。
• 訓練中に予測が信頼度の低いサンプルからのものである場合に、その重みを低下させるラベル再重み付けを適用する。
• モデルの信頼度に基づいて、標準的な微調整と自己ラベリング更新を交互に実行するハイブリッドトレーニング戦略を採用する。
• 実験ではℓ²とMARSノルムを併用し、ℓ²が同等またはより優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 微調整中に各層が移動した距離が一般化性能にどのように影響するか？
• RQ2 微調整後のモデルのノイズ安定性は、その一般化行動を予測できるか？
• RQ3 正則化と自己ラベリングを組み合わせることで、微調整におけるラベルノイズへのロバスト性が向上するか？
• RQ4 層ごとの正則化、ラベル補正、ラベル削除といった異なる構成要素が性能にどのように寄与するか？
• RQ5 提案手法は、視覚変換器や少数サンプル学習を含む、異なるアーキテクチャやデータモダリティにも一般化可能か？

主な発見

• RegSLは、ベースラインの微調整と比較して、7つの画像分類ベンチマークで平均1.76%の精度向上を達成した。
• ノイズのあるデータセットでは、ベースライン比で平均3.56%の精度向上を達成し、誤ったラベルの記憶が顕著に低減された。
• 層ごとの正則化により、訓練精度とテスト精度の一般化ギャップが縮小され、より良い一般化が実現した。
• 20%のノイズ下で21エポック目における誤って再ラベリングされたサンプル数は、74%（42から11に）減少した。
• 高ノイズ率（40%以上）ではラベル補正部が最も重要であり、低ノイズレベルでは正則化がより効果的であった。
• 本手法は視覚変換器、医療画像分類（ChestX-ray14）、少数サンプルNLPタスクなどに一般化可能であり、少数サンプル分類タスクで0.75%の性能向上を達成した。