[論文レビュー] Near-Optimal Linear Regression under Distribution Shift

Qi Lei, Wei Hu+1 more|arXiv (Cornell University)|Jun 23, 2021

Machine Learning and Algorithms被引用数 4

ひとこと要約

この論文は、ラベル付きのソースデータとラベルなしのターゲットデータを用いて、分布シフト下での線形回帰における近ミニマックス線形推定器を提案する。入力の共分散を推定することで正則化を適応的に調整することにより、共変量シフトおよびモデルシフトの設定において、ミニマックス最適リスクの定数倍のリスクを達成し、理論的および実践的にリッジ回帰を著しく上回る性能を発揮する。

ABSTRACT

Transfer learning is essential when sufficient data comes from the source domain, with scarce labeled data from the target domain. We develop estimators that achieve minimax linear risk for linear regression problems under distribution shift. Our algorithms cover different transfer learning settings including covariate shift and model shift. We also consider when data are generated from either linear or general nonlinear models. We show that linear minimax estimators are within an absolute constant of the minimax risk even among nonlinear estimators for various source/target distributions.

研究の動機と目的

• ターゲットドメインのデータが少ないがソースドメインのデータが豊富に利用可能な状況下で、分布シフトが生じる線形回帰の課題に対処すること。
• 共変量シフトおよびモデルシフト下での線形回帰において、近ミニマックスリスクを達成する推定器を開発すること。
• 線形推定器が非線形推定器の性能を定数倍の範囲で再現できる条件を同定すること。
• 標準的なデータ濃縮仮定の下でリスクバウンドの理論的保証を提供すること。
• 分布シフトの存在下で、標準的なリッジ回帰よりもデータに依存する正則化が優れていることを実証すること。

提案手法

• ラベル付きソースデータとラベルなしのターゲットデータを活用して最適な線形推定器を推定する2段階のメタアルゴリズムを提案する。
• ラベルなしのターゲットデータからの標本共分散行列を用いて正則化を適応的に調整し、入力分布のシフトに対してロバストな性能を実現する。
• 線形推定子上の行列最適化問題としてリスク最小化問題を定式化し、バイアス-バリアンス分解を用いて最悪ケースリスクを分析する。
• 入力特徴量にサブガウス分布仮定を置き、推定共分散の高確率濃縮バウンドを確立する。
• 2次モーメント行列が可換である場合に、非線形推定器を含むすべての推定器の中で、推定器のリスクがミニマックスリスクの定数倍の範囲に収まることを証明する。
• リッジ回帰より $\tilde{O}(d^{-1/4})$ の要因で改善する理論的分離結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 分布シフト下の線形回帰において、線形推定器が近ミニマックスリスクを達成できるか？
• RQ2 ターゲットドメインの共分散に基づくデータに依存する正則化は、リッジ回帰のような固定正則化と比較して性能をどのように向上させるか？
• RQ3 線形推定器が非線形推定器の性能を定数倍の範囲で再現できる条件は何か？
• RQ4 共変量シフト下で、リッジ回帰とミニマックス最適推定器との間の理論的ギャップは何か？
• RQ5 ソースおよびターゲットの入力共分散行列が可換である場合、提案手法の性能はいかがなるか？

主な発見

• 提案された推定器は、一般の非線形データモデルでさえも、すべての線形推定器の中でミニマックスリスクの普遍的定数倍の最悪ケースリスクを達成する。
• ソースおよびターゲットドメインの2次モーメント行列が可換である場合、非線形推定器を含むすべての可能な推定器の中で、推定器は近ミニマックスリスクを達成する。
• 共変量シフト下で、リッジ回帰よりも乗法的要因 $\tilde{O}(d^{-1/4})$ の理論的改善が得られる。
• 理論的分析により、ラベルなしのターゲットデータから得られる情報に基づくデータに依存する正則化が、分布シフトによる性能劣化を緩和するために不可欠であることが確認される。
• 実験結果により、提案された推定器が、さまざまな分布シフトのシナリオにおいて、リッジ回帰やヒューリスティックベースラインを著しく上回ることが検証された。
• リスクバウンドは、入力特徴量の標準的なサブガウス仮定のもとでロバストであり、推定共分散の高確率濃縮が成立する。