[論文レビュー] A pseudo-RIP for multivariate regression

Christophe Giraud|arXiv (Cornell University)|Jun 28, 2011

Statistical Methods and Inference参考文献 8被引用数 3

ひとこと要約

本稿は、標本サイズ n が誘導変数の数 p より小さい場合でも、核ノルム正則化推定器が最適なオラクルリスクバウンドを達成できるようにする、弱化された制限等長性性質（疑似-RIP）を、多変量回帰に対して導入する。設計行列 X の最小の正の特異値に対する下界のみを要件としているため、高次元設定下での適応的かつレート最小最大推定が可能となる。

ABSTRACT

We give a suitable RI-Property under which recent results for trace regression translate into strong risk bounds for multivariate regression. This pseudo-RIP is compatible with the setting $n < p$.

研究の動機と目的

• 既存の核ノルム正則化推定器が強い設計仮定により n ≥ p を要件としているという制限を解消する。
• n < p の高次元設定を除外する制限の厳しい半分RI性質（X^T X の最小固有値 > 0 を要件とする）を克服する。
• 核ノルム推定器の鋭いリスクバウンドを支持する、より現実的で弱い設計行列 X の条件を開発する。
• この新しい疑似-RIP条件の下で、核ノルム正則化推定器がオラクルリスクバウンドを達成することを確立する。
• n < p である高次元的状況下でも、推定器が適応的かつレート最小最大のままであることを示す。

提案手法

• 設計行列 X の最小の正の特異値に対する下界を課す新しい仮定（仮定1）を提案：σ_rank(X)(X) ≥ 1/μ > 0。
• 最適化空間を X^T の像に含まれる行空間を持つ行列 A に制限し、集合 𝔸 を定義する。
• 核ノルム正則化推定器 A_λ がこの部分空間上にサポートされることを示し、解が変化しないことを保証する。
• 部分空間 𝔸 における修正された制限等長性性質を用いて、Kolchinskii ら [6] の結果を適用し、リスクバウンドを導出する。
• σ₁(X), σ_q(X), T, q = rank(X), K に依存する特定の λ を用いて、ガウスノイズ下での高確率オラクル不等式を導出する。
• RI-性質を η = σ₁(X)/σ_q(X) で定義し、条件の強さを定量化し、適応性を保証する。

実験結果

リサーチクエスチョン

• RQ1 n < p の場合に、多変量回帰における核ノルム正則化推定器がオラクルリスクバウンドを達成できるか？
• RQ2 制限の厳しい半分RI性質に代わる、設計行列 X に対するより弱い条件は何か？ その条件が推定の一貫性を保証する。
• RQ3 X の最小の正の特異値は、核ノルム推定器の性能にどのように影響するか？
• RQ4 どのような条件下で、核ノルム推定器は高次元的多変量回帰において適応的かつレート最小最大となるか？
• RQ5 データに依存する λ を用いた場合、ガウスノイズ下で核ノルム推定器に対して高確率オラクル不等式を確立できるか？

主な発見

• 提案された疑似-RIP条件（仮定1）は、標準的な半分RI性質よりも厳密に弱く、n < p を許容する。
• 仮定1の下で、核ノルム推定器はオラクルリスクバウンドを達成する：‖XÂ_λ − XA₀‖² ≤ inf_A {‖XA − XA₀‖² + (3/2)μ²λ² rank(A)} かつ λ ≥ 2σ₁(X^T E)。
• ガウスノイズの場合、λ = 2Kσ₁(X)(√T + √q)σ かつ q = rank(X) とすると、確率 > 1 − e^{−(K−1)²(T+q)/2} でバウンドが成立する。
• 得られたオラクル不等式は、予測リスクにおいて先頭定数が 1 であるため、従来の大きな定数を伴うバウンドを改善する。
• RI-性質が η = σ₁(X)/σ_q(X) が適度な大きさである場合、推定器は適応的かつレート最小最大である。
• 鍵となる洞察は、設計行列がフルランクである必要も、フルスパークである必要もないこと。最小の非ゼロ特異値がゼロから離れていることのみが重要である。