[論文レビュー] Lifting high-dimensional nonlinear models with Gaussian regressors

Christos Thrampoulidis, Ankit Singh Rawat|arXiv (Cornell University)|Dec 11, 2017

Statistical Methods and Inference参考文献 15被引用数 5

ひとこと要約

本稿では、ガウス回帰子を有する高次元非線形モデルを、標準Lassoが失敗する場合（特に線形信号係数μℓが消える偶関数型リンク関数の場合）でも構造的信号を回復できるように、高次元空間に持ち上げる凸最適化手法を提案する。この手法は、非線形性および問題の幾何的性質を単純な要約パラメータで要約した、保証可能な誤差バウンドを達成する。

ABSTRACT

We study the problem of recovering a structured signal $\mathbf{x}_0$ from high-dimensional data $\mathbf{y}_i=f(\mathbf{a}_i^T\mathbf{x}_0)$ for some nonlinear (and potentially unknown) link function $f$, when the regressors $\mathbf{a}_i$ are iid Gaussian. Brillinger (1982) showed that ordinary least-squares estimates $\mathbf{x}_0$ up to a constant of proportionality $μ_\ell$, which depends on $f$. Recently, Plan & Vershynin (2015) extended this result to the high-dimensional setting deriving sharp error bounds for the generalized Lasso. Unfortunately, both least-squares and the Lasso fail to recover $\mathbf{x}_0$ when $μ_\ell=0$. For example, this includes all even link functions. We resolve this issue by proposing and analyzing an alternative convex recovery method. In a nutshell, our method treats such link functions as if they were linear in a lifted space of higher-dimension. Interestingly, our error analysis captures the effect of both the nonlinearity and the problem's geometry in a few simple summary parameters.

研究の動機と目的

• リンク関数が偶関数である場合に生じるμℓ = 0の状況で、通常の最小二乗法および一般化Lassoが構造的信号を回復できない問題に対処する。
• 標準的手法が失敗する非線形性クラスに対しても有効な、凸回復手法を開発する。
• ガウス設計行列を有する高次元・非線形測定モデルにおいて、信号回復の保証可能な性能を提供する。
• 非線形性と問題の幾何的性質の組み合わせ効果を、誤差解析において解釈可能な少数の要約パラメータで捉える。
• 非線形性により大きさ情報が失われた場合でも、相関の観点から真の信号を弱く回復可能にする。

提案手法

• 非線形測定値を、持ち上げられた高次元空間における線形測定値であるかのように扱う凸計画問題を提案する。
• リンク関数fの構造と回帰子のガウス性を活用して、持ち上げられた最適化問題を定式化する。
• x₀に関する事前知識（例：スパarsity）を活用できる、構造的正則化子を備えた正則化凸計画問題を用いる。
• 推定誤差のバウンドを、非線形性の影響（μℓおよびτℓを介して）の観点から双対解析フレームワークを用いて行う。
• ハズン＝ハワード不等式およびεネットの議論を用いて、確率的外積の重み付き和のスペクトルノルムを制御する。
• スパarsityレベルk、環境次元n、標本サイズm、およびリンク関数の統計的性質（μℓおよびτℓ）に依存する誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 μℓ = 0となるため標準Lassoが失敗する状況下でも、高次元非線形測定から構造的信号を回復可能か？
• RQ2 偶関数型リンク関数やその他の非線形性において線形手法が失敗する状況でも、有効な凸回復手法をどのように設計できるか？
• RQ3 非線形性および問題の幾何的性質をパラメータとして、そのような手法の保証可能な誤差バウンドはどのように得られるか？
• RQ4 スパarsityなどの構造的事前知識を柔軟に組み込みつつ、強力な理論的保証を維持できるか？
• RQ5 要約パラメータμℓおよびτℓは、非線形性と設計行列構造の組み合わせ的影響をどのように捉えているか？

主な発見

• 提案手法は、μℓ = 0となる（すべての偶関数型リンク関数において）標準Lassoが失敗する状況下でも、真の信号x₀を正しく回復する。
• 推定誤差は‖x̂ − μℓ·x₀‖₂ ≲ τℓ·√(k log(n/k))/√mとバウンドされ、リフト手法を用いる限りμℓ = 0であっても有効である。
• 持ち上げられた空間における誤差バウンドは、スパarsityレベルk、次元n、標本サイズm、およびリンク関数の統計的モーメントμℓおよびτℓに依存する。
• 真の信号x₀のノルムが1であるという仮定の下で、高い相関度で弱い回復が達成される。
• 理論的解析により、ガウス外積の重み付き和のスペクトルノルムがハズン＝ハワード不等式およびεネットの議論により制御可能であることが示された。
• 最終的な誤差バウンドは高確率でO(1/√m)に比例し、kおよびnの依存性は、分散プロキシにおけるlog(n/k)およびk²の項に反映される。