[論文レビュー] Consistent Risk Estimation in Moderately High-Dimensional Linear Regression

Ji Xu, Arian Maleki+2 more|arXiv (Cornell University)|Feb 5, 2019

Mathematical Approximation and Integration参考文献 61被引用数 5

ひとこと要約

本稿は、標本サイズ $n$ と特徴量数 $p$ が $n/p \to \delta > 1$ を満たす中程度の高次元線形回帰において、leave-one-out cross validation (LOOCV)、近似leave-one-out (ALO)、および近似メッセージパッシング (AMP) を用いたリスク推定の一貫性を確立する。主な貢献は、この漸近的設定下で、広く用いられているこれらの手法が確率的に真の汎化誤差に収束することを証明することであり、AMPとLOOCVの残差間の差異に関する新規な評価により、収束速度の精密な分析が可能となる。

ABSTRACT

Risk estimation is at the core of many learning systems. The importance of this problem has motivated researchers to propose different schemes, such as cross validation, generalized cross validation, and Bootstrap. The theoretical properties of such estimates have been extensively studied in the low-dimensional settings, where the number of predictors $p$ is much smaller than the number of observations $n$. However, a unifying methodology accompanied with a rigorous theory is lacking in high-dimensional settings. This paper studies the problem of risk estimation under the moderately high-dimensional asymptotic setting $n,p ightarrow \infty$ and $n/p ightarrow δ>1$ ($δ$ is a fixed number), and proves the consistency of three risk estimates that have been successful in numerical studies, i.e., leave-one-out cross validation (LOOCV), approximate leave-one-out (ALO), and approximate message passing (AMP)-based techniques. A corner stone of our analysis is a bound that we obtain on the discrepancy of the `residuals' obtained from AMP and LOOCV. This connection not only enables us to obtain a more refined information on the estimates of AMP, ALO, and LOOCV, but also offers an upper bound on the convergence rate of each estimate.

研究の動機と目的

• 高次元設定、特に $n$ と $p$ が $n/p \to \delta > 1$ を満たす状況におけるリスク推定のための厳密な理論的支援の欠如に応えること。
• この漸近的設定下で、実証的に成功した3つのリスク推定手法—LOOCV、ALO、AMP—の一致性を確立すること。
• 真のパラメーターベクトル $\bm{\beta}_0$ にスパarsityの仮定を課さない中程度の高次元線形モデルにおけるこれらの手法の信頼性の理論的基盤を提供すること。
• AMPの残差とLOOCVの残差の差異を分析することで、各リスク推定の収束速度の上限を導出すること。

提案手法

• 近似メッセージパッシング(AMP)の残差とleave-one-out cross validation (LOOCV)の残差の差異に関する新規な評価を導出し、理論的分析の基盤を提供する。
• AMPフレームワークを用いて、調整パラメータ $\gamma$、双対変数 $\theta$、および残差プロキシ $\bm{z}$ を含む固定点系を介して汎化誤差の推定を行う。
• 方程式系 (111) を用いて調整パラメータ $\gamma$ とAMPパラメータ $\tau$ 間の全単射関係を確立し、一貫性のあるリスク推定の構築を可能にする。
• LOOCVの挙動を模倣する残差プロキシ $\bm{z} = \bm{y} - \bm{X}\hat{\bm{\beta}}_{\lambda} + \hat{\theta} \cdot l'(\bm{y} - \bm{X}\hat{\bm{\beta}}_{\lambda})$ を導入し、一貫性のあるリスク推定を可能にする。
• AMPに基づくリスク推定法を、二乗損失やブリッジ正則化に限らない広範な損失関数および正則化関数のクラスへ一般化する。
• 指定された漸近的設定下で、LOOCV、ALO、AMP から得られる推定値が真の汎化誤差に確率的に一貫することを証明する。

実験結果

リサーチクエスチョン

• RQ1 LOOCV、ALO、AMPに基づくリスク推定器は、$n, p \to \infty$ かつ $n/p \to \delta > 1$ の下でも一貫性を保つのか？
• RQ2 AMPの残差とLOOCVの残差の間の理論的関係を確立し、一貫性の証明を支援できるか？
• RQ3 中程度の高次元的漸近的設定下で、これらのリスク推定器の収束速度は何か？
• RQ4 AMPに基づくリスク推定は、二乗損失やブリッジ正則化に限らず、一般の損失関数および正則化関数に対しても一貫性を示すのか？
• RQ5 AMPの残差プロキシ $\bm{z}$ とLOOCVの間の直感的関係を形式化し、一貫性の証明に利用できるか？

主な発見

• LOOCV、ALO、AMPに基づくリスク推定器は、$n,p \to \infty$ かつ $n/p \to \delta > 1$ の漸近的設定下で、真の汎化誤差に確率的に一貫する。
• 本稿は、AMPの残差とLOOCVの残差の差異に関する非漸近的評価を確立し、一貫性の証明を可能にするとともに、収束速度分析の基盤を提供する。
• AMPに基づくリスク推定は、二乗損失やブリッジ正則化に限らず、広範な損失関数および正則化関数のクラスへ一般化され、従来の結果の適用範囲を拡張する。
• 残差プロキシ $\bm{z} = \bm{y} - \bm{X}\hat{\bm{\beta}}_{\lambda} + \hat{\theta} \cdot l'(\bm{y} - \bm{X}\hat{\bm{\beta}}_{\lambda})$ がLOOCVの推定と同様の挙動を示すことが示され、一貫性のあるリスク推定への利用が正当化される。
• 仮定された条件下で、残差 $\bm{y} - \bm{X}\hat{\bm{\beta}}_{\lambda}$ の非ゼロ割合が高確率で有界のままであることが示され、リスク推定の安定性が裏付けられる。
• 差異評価を介して、各リスク推定の収束速度が上界で評価され、推定値が真のリスクにどれほど速く近づくかを定量的に測定可能となる。