[論文レビュー] Transfer Learning for Linear Regression: a Statistical Test of Gain

David Obst, Badih Ghattas+4 more|arXiv (Cornell University)|Feb 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 7

ひとこと要約

本稿では、微調整された転移学習が、トレーニングから再び開始する場合と比較して、ターゲットタスクにおける線形回帰のパフォーマンスを向上させるかどうかを判断するための統計的仮説検定を提案する。この手法は、共分散行列の固有値分解とパラメータ差の上限に基づいた検定統計量を導出し、型Iエラーを制御可能な仮説検定を可能にする。有効性は合成データおよび電力消費データで検証された。

ABSTRACT

Transfer learning, also referred as knowledge transfer, aims at reusing knowledge from a source dataset to a similar target one. While many empirical studies illustrate the benefits of transfer learning, few theoretical results are established especially for regression problems. In this paper a theoretical framework for the problem of parameter transfer for the linear model is proposed. It is shown that the quality of transfer for a new input vector $x$ depends on its representation in an eigenbasis involving the parameters of the problem. Furthermore a statistical test is constructed to predict whether a fine-tuned model has a lower prediction quadratic risk than the base target model for an unobserved sample. Efficiency of the test is illustrated on synthetic data as well as real electricity consumption data.

研究の動機と目的

• 線形回帰における転移学習の理論的保証の欠如、特にネガティブ・トランスファーの観点から、その問題を解決すること。
• ターゲットデータ上でトレーニングから再び開始する場合と比較して、微調整された転移学習が予測リスクを低くするかどうかを判断する統計的仮説検定を開発すること。
• 特にターゲットデータが限られている状況において、デプロイ前に転移利得を評価する実用的でデータ駆動型の手法を提供すること。
• 既知のパラメータ発散の上限を用いて、パrameter差の保守的下限を導出し、検定における型Iエラーを制御すること。
• 本手法を合成データおよび実世界の電力需要予測データ（GEFCOM2012）で検証すること。

提案手法

• 微調整モデルとベースラインターゲットモデル間の二乗リスク差に基づく統計的仮説検定を提案する。
• 入力ベクトル $x$、ターゲット共分散の固有基底、およびソース-ターゲットパラメータ差に依存する検定統計量 $\phi_k(x)$ を導出する。
• パラメータ差 $\|\beta_T - \beta_S\|/\sigma_T$ の既知の上限 $\rho$ を用いて、$\phi_k(x)$ の保守的下限 $\psi_k(x)$ を導入する。
• F分布近似を用いて検定のp値を計算し、型Iエラーがレベル $\alpha$ で制御されることを保証する。
• ターゲットおよびソース共分散行列の固有値分解を用いて、入力を転移品質がパラメータシフトとの整合性に依存する基底に表現する。
• トレーニングデータにおける実効的利得と精度-再現率トレードオフを用いて、ハイパーパラメータ $k$（固有基底インデックス）および $\rho$ をキャリブレーションする。

実験結果

リサーチクエスチョン

• RQ1 微調整された線形回帰における転移学習は、どのような条件下でトレーニングから再び開始する場合と比較して、より低い予測リスクを達成するか？
• RQ2 デプロイ前に新しい入力ベクトルの転移利得を予測できる統計的仮説検定を構築できるか？
• RQ3 頻度的枠組みにおいて、ネガティブ・トランスファーのリスクを、型Iエラーが保証された形で制御できるか？
• RQ4 共分散行列の固有基底が転移品質を決定する上で果たす役割は何か？
• RQ5 未知のパラメータ差 $\|\beta_T - \beta_S\|$ をどのように上限づけて、検定を実用的かつ有効にできるか？

主な発見

• 本検定は、リスク差がゼロのとき最大誤差が発生するように保証することで、レベル $\alpha$ での型Iエラーを制御している。
• 帰無仮説の下で、検定統計量 $\phi_k(x)$ がF分布によって確率的に有界であることが示され、p値の計算が可能になった。
• 既知の上限 $\rho$ を用いて、$\phi_k(x)$ の実用的下限 $\psi_k(x)$ が導出された。
• トレーニングデータセットのラベル付き入力において観察された実効的利得と精度-再現率トレードオフを用いて、$k$ および $\rho$ の実効的キャリブレーションが行われた。
• 本手法は合成データおよびGEFCOM2012の実際の電力消費データにおいて、有益な転移を的確に同定し、ベースラインモデルよりも一貫した改善を示した。
• モデルの誤指定に対しても本手法は頑健であり、真のパラメータ差が未知であっても、$\rho$ が保守的に推定されていれば、検定の有効性を維持する。