[論文レビュー] A Theoretical Analysis of Fine-tuning with Linear Teachers

Gal Shachaf, Alon Brutzkus+1 more|arXiv (Cornell University)|Jul 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 5

ひとこと要約

本稿は、線形教師を用いた微調整の理論的分析を提供し、線形および深層線形回帰モデルにおいて、サンプル必要数が、ソース・ターゲット重み差とターゲットデータ共分散の固有ベクトルとの整合性に依存することを示している。深層ネットワークはタスク間のスケール差に対する感受性を低下させることを明らかにした。また、微調整がランダム初期化を上回ることを示しており、これは、ソースとターゲット重み間のL2距離が‖θ_T‖/√2未満である場合に成立する。

ABSTRACT

Fine-tuning is a common practice in deep learning, achieving excellent generalization results on downstream tasks using relatively little training data. Although widely used in practice, it is lacking strong theoretical understanding. We analyze the sample complexity of this scheme for regression with linear teachers in several architectures. Intuitively, the success of fine-tuning depends on the similarity between the source tasks and the target task, however measuring it is non trivial. We show that a relevant measure considers the relation between the source task, the target task and the covariance structure of the target data. In the setting of linear regression, we show that under realistic settings a substantial sample complexity reduction is plausible when the above measure is low. For deep linear regression, we present a novel result regarding the inductive bias of gradient-based training when the network is initialized with pretrained weights. Using this result we show that the similarity measure for this setting is also affected by the depth of the network. We further present results on shallow ReLU models, and analyze the dependence of sample complexity there on source and target tasks. We empirically demonstrate our results for both synthetic and realistic data.

研究の動機と目的

• 過パラメータ化にもかかわらず微調整が一般化性能に優れる理由を理論的に理解すること、特に低データ環境下での理由を明らかにすること。
• 微調整の成功を決定づける要因として、事前学習（ソースタスク）、ターゲットタスク、およびデータ分布の相互作用を形式化すること。
• 単なるソースとターゲット重み間の距離を超えて、微調整におけるサンプル必要数を支配する主要要因を同定すること。
• ネットワークの深さとデータ共分散構造が勾配ベースの微調整におけるインダクティブバイアスに与える影響を分析すること。

提案手法

• 勾配降下法による微調整の下で、線形および深層線形ニューラルネットワークを分析し、ソースタスクを事前学習済みの線形教師としてモデル化する。
• テスト誤差を定量化するために、ラデマッハ複雑度と無限幅のヘッシアン行列の逆行列（H^∞）を用いた一般化境界を導出する。
• ターゲットデータ共分散構造を組み込んだ、ソースタスクとターゲットタスクの類似度を測る新しい指標を導入する。
• 微調整されたモデルのリスクが 6‖θ_T - θ_S‖₂/√n + O(√(log(n/λ₀δ)/n)) で有界であることを証明し、性能がソースとターゲット重み間のL2距離に依存することを示した。
• 深層ネットワークが、ソースとターゲットタスク間のスケール差を内蔵的に相殺することで、初期化スケールに対する感受性を低下させることを示した。
• 結果を浅いReLUネットワークに拡張し、非線形設定における微調整のサンプル必要数分析の最初の結果を提供した。

実験結果

リサーチクエスチョン

• RQ1 ターゲットデータの共分散構造は、線形教師を用いた微調整のサンプル必要数にどのように影響するか？
• RQ2 ネットワークの深さは、深層線形モデルにおける勾配ベースの微調整のインダクティブバイアスをどのように形作るか？
• RQ3 一般化誤差の観点で、微調整がランダム初期化を上回る条件は何か？
• RQ4 ソースとターゲット重みベクトル間の距離とデータ分布の相互作用が、微調整の成功をどのように決定づけるか？
• RQ5 浅いReLUネットワークのような非線形モデルにおける微調整に対して、理論的枠組みを確立できるか？

主な発見

• ソースとターゲット重みの差が、ターゲットデータ共分散の低分散方向と整合している場合、微調整のサンプル必要数は顕著に減少する。
• 微調整された線形モデルの一般化誤差は、6‖θ_T - θ_S‖₂/√n + O(√(log(n/λ₀δ)/n)) で有界であり、これは、‖θ_T - θ_S‖ < ‖θ_T‖/√2 の場合にランダム初期化を上回る。
• 深層線形ネットワークは、事前学習重みの影響を効果的に正規化することで、ソースとターゲットタスク間のスケール不一致の影響を軽減する。
• 深層線形ネットワークにおける勾配降下法のインダクティブバイアスは、事前学習重みとネットワークの深さの両方に依存し、ターゲットタスクと整合する解の選択を促進する。
• 浅いReLUネットワークでは、本稿が微調整における最初のサンプル必要数結果を確立し、ソース・ターゲットタスクの類似度とデータ分布に依存することを示した。
• 実験的評価は理論的結果を裏付けており、ターゲット共分散の整合性とネットワークの深さが、微調整の成功において重要な役割を果たしていることを確認した。