[論文レビュー] Robust Fine-Tuning of Deep Neural Networks with Hessian-based Generalization Guarantees

Haotian Ju, Dongyue Li+1 more|arXiv (Cornell University)|Jun 6, 2022

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、微調整された深層ニューラルネットワークに対するヘッセ行列に基づく一般化尺度を提案し、それが実験的一般化ギャップと強く相関することを示している。PACベイジアン一般化境界にヘッセ情報を組み込んだものも提案し、ラベルノイズ下での過学習を低減する耐性のある微調整アルゴリズムを開発。画像タスクにおいて、先行手法と比較して平均3.26%の精度向上を達成した。

ABSTRACT

We consider fine-tuning a pretrained deep neural network on a target task. We study the generalization properties of fine-tuning to understand the problem of overfitting, which has often been observed (e.g., when the target dataset is small or when the training labels are noisy). Existing generalization measures for deep networks depend on notions such as distance from the initialization (i.e., the pretrained network) of the fine-tuned model and noise stability properties of deep networks. This paper identifies a Hessian-based distance measure through PAC-Bayesian analysis, which is shown to correlate well with observed generalization gaps of fine-tuned models. Theoretically, we prove Hessian distance-based generalization bounds for fine-tuned models. We also describe an extended study of fine-tuning against label noise, where overfitting remains a critical problem. We present an algorithm and a generalization error guarantee for this algorithm under a class conditional independent noise model. Empirically, we observe that the Hessian-based distance measure can match the scale of the observed generalization gap of fine-tuned models in practice. We also test our algorithm on several image classification tasks with noisy training labels, showing gains over prior methods and decreases in the Hessian distance measure of the fine-tuned model.

研究の動機と目的

• 微調整された深層ニューラルネットワークにおける過学習を理解すること、特に訓練データが少ない、またはラベルにノイズがある場合に注目する。
• 初期化からの距離だけではなく、微調整の性能をよりよく捉えるデータ依存の一般化尺度を構築すること。
• クラス条件付きラベルノイズ下で一般化性能を向上させる耐性のある微調整アルゴリズムを設計すること。
• PACベイジアン解析と摂動理論を用いて、ヘッセ行列に基づく尺度の理論的裏付けを提供すること。
• 最小化するヘッセ距離が一般化性能とモデルの耐性を向上させることを、実験的に検証すること。

提案手法

• 各レイヤーの重みにおける損失ヘッセ行列を用いたヘッセ行列に基づく距離測度を提案。定義は $ \sum_{i=1}^{L} \sqrt{ \max_{(x,y)\sim\mathcal{D}} v_i^\top \mathbf{H}_i^+ v_i / n } $ であり、$ \mathbf{H}_i^+ $ は非負の固有値を持つ切り詰められたヘッセ行列である。
• 微調整モデルのPACベイジアン一般化境界を導出し、このヘッセ行列に基づく距離を組み込むことで、一般化誤差との理論的相関を示した。
• クラス条件付き独立ノイズモデル下で、統計的に一貫性のある損失とレイヤーごとの距離正則化を組み合わせた耐性のある微調整アルゴリズムを導入した。
• ヘッセベクトル積の計算を用いて、完全なヘッセ行列の計算なしに、トレーニング中にヘッセ行列に基づく尺度を効率的に推定した。
• プログラムによるラベルノイズを含む6つの画像分類タスク（ResNet-18/101）およびNLPタスク（RoBERTa-Base）にこの手法を適用。ハイパーパramータの調整には交差検証を用いた。
• ラベルノイズの補正に混同行列ベースのアプローチを採用し、スケーリング係数 $ \gamma $ を用いてレイヤーごとに正則化制約を統合した。

実験結果

リサーチクエスチョン

• RQ1 初期化からの距離だけではなく、ヘッセ行列に基づく距離測度が、微調整された深層ネットワークにおける一般化ギャップをよりよく予測できるか？
• RQ2 一般化境界にヘッセ情報を組み込むことで、微調整における理論的および実験的性能が向上するか？
• RQ3 ヘッセに配慮した正則化アルゴリズムは、高レベルのラベルノイズ率下で過学習を緩和できるか？
• RQ4 実際の応用において、ヘッセ行列に基づく測度は他の代替指標と比較してどう異なるか？
• RQ5 ヘッセ距離を最小化することで、ノイズありおよび標準的な微調整ベンチマークにおけるモデルの精度がどの程度向上するか？

主な発見

• ヘッセ行列に基づく距離測度は、微調整されたモデルにおける観測された一般化ギャップと強く相関しており、標準的な初期化からの距離測度を上回る性能を示した。
• ヘッセ情報を組み込んだ本稿のPACベイジアン一般化境界は、先行の境界よりもタイトで、より正確な理論的保証を提供した。
• プログラムによるラベルノイズを含む6つの画像分類タスクにおいて、本手法は既存手法と比較して平均トップ-1精度を3.26%向上させた。
• 極端なラベルノイズ下でも本手法は安定した性能を示し、クラス条件付き設定で60%のノイズ率でも安定した性能を維持した。
• ヘッセ測度 $ \sqrt{\mathcal{H}/n} $ は、レイヤーごとのヘッセ測度よりも一貫して小さく、最適化された場合に一般化性能が向上する可能性を示唆した。
• 実験結果から、モデルの一般化性能が向上する際、ヘッセ距離測度が減少することが示され、一般化誤差の代理としての有効性が裏付けられた。