[論文レビュー] High dimensional errors-in-variables models with dependent measurements

Mark Rudelson, Shuheng Zhou|arXiv (Cornell University)|Feb 9, 2015

Fault Detection and Control Systems参考文献 61被引用数 7

ひとこと要約

この論文は、ノイズ行列 W の共分散構造にクーロン和構造を導入することで、従属する測定誤差を有する高次元誤差変数モデルを構築する。スパarsityおよび制限固有値条件の下で、LassoおよびDantzig型推定量の一致性と収束速度を確立し、測定誤差が小さくなるにつれて古典的手法の境界に近づく誤差境界を示す。

ABSTRACT

Suppose that we observe $y \in \mathbb{R}^f$ and $X \in \mathbb{R}^{f imes m}$ in the following errors-in-variables model: \begin{eqnarray*} y & = & X_0 β^* + ε\\ X & = & X_0 + W \end{eqnarray*} where $X_0$ is a $f imes m$ design matrix with independent subgaussian row vectors, $ε\in \mathbb{R}^f$ is a noise vector and $W$ is a mean zero $f imes m$ random noise matrix with independent subgaussian column vectors, independent of $X_0$ and $ε$. This model is significantly different from those analyzed in the literature in the sense that we allow the measurement error for each covariate to be a dependent vector across its $f$ observations. Such error structures appear in the science literature when modeling the trial-to-trial fluctuations in response strength shared across a set of neurons. Under sparsity and restrictive eigenvalue type of conditions, we show that one is able to recover a sparse vector $β^* \in \mathbb{R}^m$ from the model given a single observation matrix $X$ and the response vector $y$. We establish consistency in estimating $β^*$ and obtain the rates of convergence in the $\ell_q$ norm, where $q = 1, 2$ for the Lasso-type estimator, and for $q \in [1, 2]$ for a Dantzig-type conic programming estimator. We show error bounds which approach that of the regular Lasso and the Dantzig selector in case the errors in $W$ are tending to 0.

研究の動機と目的

• 神経科学やゲノム研究において一般的な、観測間で測定誤差が従属する高次元回帰モデルに対処すること。
• 測定誤差行列 W の列ベクトルを従属的にモデル化し、神経応答データの試行ごとの変動を捉えること。
• このような従属的測定誤差が存在する中でも、回帰係数ベクトル β∗ のスパース推定における統計的一致性と収束速度を確立すること。
• サブガウス分布の濃縮と行列共分散モデルを用いて、古典的手法のLassoおよびDantzig選択子理論を、構造的かつ従属的測定誤差を持つ設定に一般化すること。
• 測定誤差の分散がゼロに近づくにつれて、推定誤差境界が標準的LassoおよびDantzig選択子の境界に収束するかを調べること。

提案手法

• 測定誤差行列 W の共分散構造を表すために、Kronecker和モデル Σ = A ⊕ B = A ⊗ If + Im ⊗ B を提案する。
• 観測されたデザイン行列 X を X = X₀ + W とモデル化し、X₀ は独立なサブガウス分布の行をもち、W は共分散構造が B で記述された独立なサブガウス分布の列をもつ。
• サブガウス分布の濃縮不等式とネットの議論を用いて、経験的グラム行列 XT X とその期待値との乖離を制御する。
• ε-ネットとスパース部分空間上の和集合を用いて、測定誤差下でのデザイン行列の等長性および制限固有値性を制御する。
• ノイズおよびデザイン行列の摂動の制御を通じて、LassoおよびDantzig型推定量の推定誤差に関する高確率的境界を導出する。
• 真のデザイン行列にスパarsityおよび制限固有値型の条件が成り立つ場合、推定量の ℓq 範囲（q = 1, 2）における収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 測定誤差が観測間で従属する場合、スパース回帰係数ベクトル β∗ の一貫した推定が可能か？
• RQ2 測定誤差が従属する高次元誤差変数モデルにおいて、LassoおよびDantzig型推定量の収束速度はいかほどか？
• RQ3 測定誤差の分散がゼロに近づくとき、推定誤差境界はどのように振る舞い、古典的手法の境界に収束するか？
• RQ4 デザイン行列および誤差共分散行列にどのような条件下で、制限固有値性が測定誤差の影響を受けても保持されるか？
• RQ5 Kronecker和モデル Σ = A ⊕ B は、神経応答のフラクチュエーションなどの実世界データにおける測定誤差の依存構造を効果的に捉えることができるか？

主な発見

• 本論文は、スパarsityおよび制限固有値型の条件の下で、LassoおよびDantzig型推定量がスパース係数ベクトル β∗ を一貫して回復できることを確立した。
• ℓq 範囲における収束速度が導出された：q = 1 および q = 2 の場合、O(√(s log m / f)) であり、s はスパarsityレベル、f は観測数である。
• 両推定量の誤差境界は、測定誤差の分散がゼロに近づくにつれて、古典的手法の境界に近づく。
• 摂動されたグラム行列 XT X の最大スパース固有値に対する上界は、ρmax(k, eA) ≤ ρmax(k, A)(1 + 10ε) + C4ετB と示され、ここで τB = λmax(B) である。
• 最小スパース固有値の下界は、ε および δ に関する条件の下で、ρmin(k, eA) ≥ ρmin(k, A)(1 − 2δ) と示され、制限固有値性の安定性が保証される。
• XT X とその期待値との乖離に関する高確率的濃縮境界が確立され、誤差項はサブガウスネットの議論とトレースに基づく正規化によって制御された。