[論文レビュー] The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression

Yehuda Dar, Daniel LeJeune+1 more|arXiv (Cornell University)|Mar 9, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

この論文は、過パラメータ化された線形回帰における転移学習を、ターゲットモデルのパラメータを事前学習済みのソースパラメータに近づける正則化によって分析する。十分なタスク類似性がある条件下で、最適に調整された転移学習が、独立したターゲットタスクの最小平均二乗誤差（MMSE）解でさえも上回ることを解析的に証明し、ダブルデセントのピークを解消し、標準のリッジ回帰を超えた解空間を拡張する。

ABSTRACT

We study a fundamental transfer learning process from source to target linear regression tasks, including overparameterized settings where there are more learned parameters than data samples. The target task learning is addressed by using its training data together with the parameters previously computed for the source task. We define a transfer learning approach to the target task as a linear regression optimization with a regularization on the distance between the to-be-learned target parameters and the already-learned source parameters. We analytically characterize the generalization performance of our transfer learning approach and demonstrate its ability to resolve the peak in generalization errors in double descent phenomena of the minimum L2-norm solution to linear regression. Moreover, we show that for sufficiently related tasks, the optimally tuned transfer learning approach can outperform the optimally tuned ridge regression method, even when the true parameter vector conforms to an isotropic Gaussian prior distribution. Namely, we demonstrate that transfer learning can beat the minimum mean square error (MMSE) solution of the independent target task. Our results emphasize the ability of transfer learning to extend the solution space to the target task and, by that, to have an improved MMSE solution. We formulate the linear MMSE solution to our transfer learning setting and point out its key differences from the common design philosophy to transfer learning.

研究の動機と目的

• 過パラメータ化された線形回帰における転移学習の一般化性能、特にダブルデセント領域における理解を図ること。
• 真のパラメータが等方的ガウス事前分布に従う場合でさえ、転移学習が最適なリッジ回帰解を上回ることはあるかを調査すること。
• 転移学習の線形MMSE解を特徴づけ、従来の転移学習設計と対比すること。
• 高次元設定における、ソースとターゲットのパラメータ間の正則化が一般化誤差に与える影響を分析すること。
• 転移学習が解空間を拡張し、標準のベンチマークを上回る最小二乗誤差性能を実現できることを示すこと。

提案手法

• ターゲットモデルを、ソースタスクで学習されたパラメータから逸脱するのを罰則する正則化された目的関数で訓練する転移学習フレームワークを提案する。
• 正則化項として、ターゲットとソースのパラメータ間の二乗ℓ₂距離に比例する項を用い、調整可能なハイパーパrameter α_TL を導入する。
• 等方的事前分布の下で、ランダム行列理論と漸近的解析を用いて、転移学習推定子の期待一般化誤差を導出する。
• 高次元設定における期待誤差の極限表現を計算するために、ランダム行列理論のトレース近似（補題E.1）を適用する。
• ソースとターゲットデータの同時分布の下で平均二乗誤差を最小化することで、ターゲットタスクのパラメータベクトルに対する線形MMSE推定子を導出する。
• 転移学習解を最小ℓ₂ノルム解およびリッジ回帰と比較し、それが優位に働く条件を示す。

実験結果

リサーチクエスチョン

• RQ1 真のパラメータが等方的ガウス事前分布に従う場合でさえ、線形回帰における転移学習は最適なリッジ回帰解を上回ることができるか？
• RQ2 過パラメータ化された線形回帰におけるダブルデセント行動、特に一般化誤差のピークに、転移学習がどのように影響を与えるか？
• RQ3 この設定における転移学習の線形MMSE解は何か？ そして、一般的な正則化に基づく転移学習のヒューリスティクスとはどのように異なるか？
• RQ4 どのような条件下で、転移学習がターゲットタスクを独立して学習する場合よりも優れた一般化性能を達成するか？
• RQ5 転移学習は、標準の推定器を上回る最小二乗誤差を実現するように、解空間を拡張できるか？

主な発見

• 最適に調整された正則化を用いた転移学習は、等方的ガウス事前分布の下でも、独立したターゲットタスクの最小平均二乗誤差（MMSE）解を上回ることがある。
• 提案された転移学習手法は、過パラメータ化された線形回帰における最小ℓ₂ノルム解のダブルデセント現象における一般化誤差ピークを解消する。
• 転移学習の線形MMSE推定子が導出され、一般的な正則化に基づく転移学習アプローチとは本質的に異なることが示された。
• 高次元極限において、ランダム行列理論からのトレース近似を用いて、転移学習の期待一般化誤差が解析的に特徴づけられた。
• タスクが十分に類似している場合、適切にα_TLを調整した転移学習は、リッジ回帰よりも期待誤差が低くなることが示され、MMSEの観点から優位性が裏付けられた。
• ターゲットタスクの解空間が転移学習によって拡張され、標準の正則化のみでは達成できない改善された推定性能が可能になった。