[논문 리뷰] High dimensional errors-in-variables models with dependent measurements

Mark Rudelson, Shuheng Zhou|arXiv (Cornell University)|2015. 02. 09.

Fault Detection and Control Systems참고 문헌 61인용 수 7

한 줄 요약

이 논문은 노이즈 행렬 W의 공분산 구조로 크로네커 합 공분산 구조를 도입함으로써 종속적인 측정 오차를 가진 고차원 오차-변수 모델을 개발한다. 희박성 조건과 제한 고유값 조건 하에서 Lasso 및 Dantzig 유형 추정기의 일致성과 수렴 속도를 확립하며, 측정 오차가 감소함에 따라 고전적 방법의 오차 범위에 수렴하는 오차 경계를 보여준다.

ABSTRACT

Suppose that we observe $y \in \mathbb{R}^f$ and $X \in \mathbb{R}^{f imes m}$ in the following errors-in-variables model: \begin{eqnarray*} y & = & X_0 β^* + ε\\ X & = & X_0 + W \end{eqnarray*} where $X_0$ is a $f imes m$ design matrix with independent subgaussian row vectors, $ε\in \mathbb{R}^f$ is a noise vector and $W$ is a mean zero $f imes m$ random noise matrix with independent subgaussian column vectors, independent of $X_0$ and $ε$. This model is significantly different from those analyzed in the literature in the sense that we allow the measurement error for each covariate to be a dependent vector across its $f$ observations. Such error structures appear in the science literature when modeling the trial-to-trial fluctuations in response strength shared across a set of neurons. Under sparsity and restrictive eigenvalue type of conditions, we show that one is able to recover a sparse vector $β^* \in \mathbb{R}^m$ from the model given a single observation matrix $X$ and the response vector $y$. We establish consistency in estimating $β^*$ and obtain the rates of convergence in the $\ell_q$ norm, where $q = 1, 2$ for the Lasso-type estimator, and for $q \in [1, 2]$ for a Dantzig-type conic programming estimator. We show error bounds which approach that of the regular Lasso and the Dantzig selector in case the errors in $W$ are tending to 0.

연구 동기 및 목표

• 측정 오차가 관측치 간 종속적인 고차원 회귀 모델을 다루기 위해, 이는 신경과학 및 게놈학에서 흔한 상황이다.
• 측정 오차 행렬 W의 열 벡터들이 종속적임을 모델링하여 신경 반응 데이터의 시험 간 변동성을 포착한다.
• 이러한 종속적인 측정 오차가 존재하더라도, 회귀 계수 벡터 β∗의 희박 추정에 대한 통계적 일치성을 확립한다.
• 서브가우시안 농도 및 행렬 공분산 모델을 활용하여 고전적 Lasso 및 Dantzig 선택기 이론을 구조적이고 종속적인 측정 오차 설정으로 일반화한다.
• 측정 오차 분산이 0으로 수렴함에 따라 오차 경계가 고전적 방법의 경계로 수렴하는지 분석한다.

제안 방법

• 측정 오차 행렬 W의 공분산 구조를 나타내기 위해 Σ = A ⊕ B = A ⊗ If + Im ⊗ B 라는 크로네커 합 모델을 제안한다.
• 관측된 설계 행렬 X를 X = X₀ + W로 모델링하며, 여기서 X₀는 독립적인 서브가우시안 행을 가지며, W는 공분산이 B에 의해 표현되는 독립적인 서브가우시안 열을 가진다.
• 서브가우시안 농도 부등식과 네트워크 추론을 활용하여 경험 공분산 행렬 XT X가 기대값에서 벗어나지 않도록 제어한다.
• 희박한 부분공간 위의 ε-넷과 유니온 바OUNDS를 사용하여 측정 오차 하에서 설계 행렬의 등장성 및 제한 고유값 성질을 제어한다.
• 노이즈 및 설계 행렬의 변동에 대한 제어를 통해 Lasso 및 Dantzig 유형 추정기의 추정 오차에 대한 고확률 경계를 유도한다.
• 진짜 설계 행렬에 대한 희박성 및 제한 고유값 유형 조건 하에서 추정기의 ℓq 노름(여기서 q = 1, 2)에서 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 측정 오차가 관측치 간 종속적일 경우, 희박한 회귀 계수 벡터 β∗의 일관된 추정이 가능할 수 있는가?
• RQ2 측정 오차가 종속적인 고차원 오차-변수 모델에서 Lasso 및 Dantzig 유형 추정기의 수렴 속도는 어떠한가?
• RQ3 측정 오차 분산이 0으로 수렴함에 따라 추정 오차 경계는 어떻게 행동하며, 고전적 방법의 경계로 수렴하는가?
• RQ4 설계 행렬과 오차 공분산 행렬에 어떤 조건이 성립할 경우, 제한 고유값 성질이 측정 오차가 존재하더라도 유지되는가?
• RQ5 크로네커 합 모델 Σ = A ⊕ B는 실제 데이터, 예를 들어 신경 반응 변동성의 종속성 구조를 효과적으로 포착할 수 있는가?

주요 결과

• 논문은 희박성 및 제한 고유값 유형 조건 하에서 Lasso 및 Dantzig 유형 추정기가 희박한 계수 벡터 β∗를 일관되게 복원할 수 있음을 확립한다.
• ℓq 노름에서 수렴 속도를 도출하였으며, q = 1 및 q = 2일 때 O(√(s log m / f))이다. 여기서 s는 희박성 수준이고 f는 관측 수이다.
• 두 추정기의 오차 경계는 측정 오차 분산이 0으로 수렴함에 따라 고전적 Lasso 및 Dantzig 선택기의 경계로 수렴한다.
• 편성된 공분산 행렬 XT X의 최대 희박 고유값에 대한 상한은 ρmax(k, eA) ≤ ρmax(k, A)(1 + 10ε) + C4ετB로 표현되며, 여기서 τB = λmax(B)이다.
• 최소 희박 고유값에 대한 하한은 조건이 ε 및 δ에 대해 성립할 경우 ρmin(k, eA) ≥ ρmin(k, A)(1 − 2δ)로 유도되며, 이는 제한 고유값 성질의 안정성을 보장한다.
• XT X의 기대값에서의 이격에 대한 고확률 농도 경계를 확립하였으며, 오차 항은 서브가우시안 넷 추론 및 트레이스 기반 정규화를 통해 제어된다.