[論文レビュー] Risk of the Least Squares Minimum Norm Estimator under the Spike Covariance Model

Yasaman Mahdaviyeh, Zacharie Naulet|arXiv (Cornell University)|Dec 31, 2019

Random Matrices and Applications参考文献 15被引用数 6

ひとこと要約

本稿は、d/n → ∞ である高次元・低標本サイズの設定において、スパイク共分散モデル下での最小ノルム最小二乗（MNLS）推定量のリスクを分析する。MNLS推定量のリスクがノイズ推定量のリスクに対して漸近的に消えることを確立し、先行研究を上回るバイアス解析を強化するためのスパイクモデル構造を活用した、漸近的および非漸近的バウンドを提示する。

ABSTRACT

We study risk of the minimum norm linear least squares estimator in when the number of parameters $d$ depends on $n$, and $\frac{d}{n} ightarrow \infty$. We assume that data has an underlying low rank structure by restricting ourselves to spike covariance matrices, where a fixed finite number of eigenvalues grow with $n$ and are much larger than the rest of the eigenvalues, which are (asymptotically) in the same order. We show that in this setting risk of minimum norm least squares estimator vanishes in compare to risk of the null estimator. We give asymptotic and non asymptotic upper bounds for this risk, and also leverage the assumption of spike model to give an analysis of the bias that leads to tighter bounds in compare to previous works.

研究の動機と目的

• d/n → ∞ である高次元設定下での最小ノルム最小二乗（MNLS）推定量の予測リスクを分析すること。
• 固定された数の固有値がnとともに増大し、他の固有値を支配するスパイク共分散モデル下でのMNLS推定量の挙動を調査すること。
• データの低ランク構造を考慮した、リスクの漸近的および非漸近的上界を導出すること。
• 高次元低標本サイズ（HDLSS）設定下でのバイアスの新しい解析を提供し、先行研究よりもタイトなリスクバウンドを達成すること。
• 主成分分析（PCA）と線形回帰の間の関係を確立すること。具体的には、スパイク固有値および固有ベクトルの一貫性推定が、小さなリスクをもたらすことを示すこと。

提案手法

• 線形モデル Y_i = θ^T X_i + ξ_i を仮定し、i.i.d. で平均0、分散σ²のノイズξ_i をとる。
• MNLS推定量は、すべての最小二乗解の中でℓ²ノルムが最小となる解として定義され、閉形式でθ̂ = (X^T X)^† X^T Y と表される。
• 本稿は、HDLSS設定下での標本共分散行列の固有値および固有ベクトルの収束に関する、Shenら（2016a）およびKoltchinskii & Lounici（2016）の漸近的結果に依拠する。
• リスク分解における固有空間への射影に関連する交差項を制御するために、フォン・ノイマンのトレース不等式およびスペクトルノルムバウンドを用いる。
• バイアスは、パrameter空間の分解と集中不等式を用いて、推定射影子が真の射影子からどれほど逸脱するかをバウンドすることで分析する。
• 理論的バウンドは、X₁^T θの分散を最大固有値λ₁と関連付けることで導出され、スパイク固有値と非スパイク固有値の間のスペクトルギャップを活用する。

実験結果

リサーチクエスチョン

• RQ1 スパイク共分散モデル下でd/n → ∞ となる際、MNLS推定量のリスクの漸近的挙動はいかなるものか？
• RQ2 HDLSS設定下で、MNLS推定量のリスクはノイズ推定量のリスクと比べてどのように異なるか？
• RQ3 共分散行列のスパイク構造を活用することで、よりタイトな非漸近的リスクバウンドを導出できるか？
• RQ4 推定されたスパイク固有空間の一貫性が、MNLS推定量のバイアス低減にどの程度寄与するか？
• RQ5 スパイク固有値と非スパイク固有値の間のスペクトルギャップが、リスクバウンドにどのように影響するか？

主な発見

• スパイク共分散モデル下でd/n → ∞ となる際、MNLS推定量のリスクはノイズ推定量のリスクに対して漸近的に消える。
• 本稿は、スペクトルギャップおよび推定スパイク固有空間の一貫性に依存する非漸近的リスク上界を提供する。
• バイアス項は、HDLSS設定下で先行研究を上回るよりタイトなバウンドを導く、新しい方法で分析されている。
• 漸近的リスクバウンドは、スパイクモデル下での標本共分散行列の固有値および固有ベクトルの収束結果を用いて導出された。
• 分析により、スパイク固有値および固有ベクトルの一貫性推定が小さなリスクをもたらすことが示され、PCAと線形回帰の間の直接的な関連が強調された。
• モデル仮定下で、X₁^T θの分散がλ₁‖θ‖²と同等であることが示され、最大固有値に基づいたリスクのタイトな制御が可能になった。