[論文レビュー] Interpolation under latent factor regression models

Florentina Bunea, Seth Strimas-Mackey+1 more|arXiv (Cornell University)|Feb 6, 2020

Matrix Theory and Algorithms被引用数 8

ひとこと要約

本稿は、潜在的要因モデルにおける高次元回帰において、最小ノルム補間予測子の有限標本リスクを分析する。特徴量と応答変数が共に低ランクである場合、$p \gg n$ であっても近似的に最適なリスクを達成できることを示しており、従来の境界を上回り、主成分回帰のようなモデル支援手法と一致する。

ABSTRACT

This work studies finite-sample properties of the risk of the minimum-norm interpolating predictor in high-dimensional regression models. If the effective rank of the covariance matrix $\Sigma$ of the $p$ regression features is much larger than the sample size $n$, we show that the min-norm interpolating predictor is not desirable, as its risk approaches the risk of trivially predicting the response by $0$. However, our detailed finite sample analysis reveals, surprisingly, that this behavior is not present when the regression response and the features are jointly low-dimensional, and follow a widely used factor regression model. Within this popular model class, and when the effective rank of $\Sigma$ is smaller than $n$, while still allowing for $p \gg n$, both the bias and the variance terms of the excess risk can be controlled, and the risk of the minimum-norm interpolating predictor approaches optimal benchmarks. Moreover, through a detailed analysis of the bias term, we exhibit model classes under which our upper bound on the excess risk approaches zero, while the corresponding upper bound in the recent work arXiv:1906.11300v3 diverges. Furthermore, we show that minimum-norm interpolating predictors analyzed under factor regression models, despite being model-agnostic, can have similar risk to model-assisted predictors based on principal components regression, in the high-dimensional regime.

研究の動機と目的

• 最小ノルム補間予測子の有限標本的挙動を理解すること。
• 特徴量の数 $p$ が標本サイズ $n$ を上回る場合にも、その予測子が有効に機能し続けるかを調査すること。
• 最小ノルム補間子のリスクが最適ベンチマークに近づく条件を検討すること。
• モデルに依存しない最小ノルム予測子と、主成分回帰のようなモデル支援手法との性能を比較すること。
• 本稿と先行研究（特に arXiv:1906.11300v3）との間で生じるリスク境界の不一致を解消すること。

提案手法

• 潜在的要因回帰モデルの下で、過剰リスクをバイアスと分散の成分に分解して分析する。
• 特徴量共分散行列 $\Sigma$ の有効ランクを主要な構造的パラメータとして用いる。
• 最小ノルム補間予測子の過剰リスクに対する有限標本上界を導出する。
• $p \gg n$ であってもバイアス項が消える条件を確立する。
• 得られたリスク境界を先行研究（特に arXiv:1906.11300v3）と比較する。
• 最小ノルム予測子が明示的なモデル適合を必要とせずに、主成分回帰と同等のリスクを達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 最小ノルム補間予測子が $p \gg n$ の条件下でどのようにして低リスクを維持できるか。
• RQ2 特徴量共分散行列 $\Sigma$ の有効ランクが最小ノルム補間子のリスクにどのように影響するか。
• RQ3 高次元設定において最小ノルム補間子が最適ベンチマークに近いリスクを達成できるか。
• RQ4 本稿の過剰リスク境界が特定のモデルクラスではゼロに近づくのに対し、arXiv:1906.11300v3 の境界は発散する理由は何か。
• RQ5 モデルに依存しない最小ノルム予測子の性能は、主成分回帰のようなモデル支援手法と比べてどうか。

主な発見

• 有効ランクが $n$ より小さい場合、最小ノルム補間予測子は過剰リスクが最適ベンチマークに近づく。
• 共同低ランク要因モデルでは、$p \gg n$ であっても過剰リスクのバイアス項と分散項の両方が制御可能である。
• 特定のモデルクラスではバイアス項をゼロにできるが、arXiv:1906.11300v3 の上界は同様の条件下で発散する。
• モデルに依存しない最小ノルム補間子は、高次元領域において主成分回帰と同等のリスクを達成する。
• 有効ランクが $n$ よりはるかに大きい場合にのみ、最小ノルム予測子のリスクはゼロ予測のものに近づくが、低ランク仮定の下ではそのような状況は回避される。