[논문 리뷰] Lifting high-dimensional nonlinear models with Gaussian regressors

Christos Thrampoulidis, Ankit Singh Rawat|arXiv (Cornell University)|2017. 12. 11.

Statistical Methods and Inference참고 문헌 15인용 수 5

한 줄 요약

이 논문은 고차원 비선형 모델을 가우시안 회귀자로 올려 비선형성과 문제 기하학성의 영향을 단순한 요약 매개변수로 캡처하여, 표준 Lasso가 실패하는 경우(특히 선형 신호 계수 μℓ가 0이 되는 짝수 링크 함수의 경우)에도 구조적 신호를 복원할 수 있는 볼록 최적화 방법을 제안한다. 이 방법은 비선형성과 문제 기하학성에 따라 결정되는 정확한 오차 경계를 확보한다.

ABSTRACT

We study the problem of recovering a structured signal $\mathbf{x}_0$ from high-dimensional data $\mathbf{y}_i=f(\mathbf{a}_i^T\mathbf{x}_0)$ for some nonlinear (and potentially unknown) link function $f$, when the regressors $\mathbf{a}_i$ are iid Gaussian. Brillinger (1982) showed that ordinary least-squares estimates $\mathbf{x}_0$ up to a constant of proportionality $μ_\ell$, which depends on $f$. Recently, Plan & Vershynin (2015) extended this result to the high-dimensional setting deriving sharp error bounds for the generalized Lasso. Unfortunately, both least-squares and the Lasso fail to recover $\mathbf{x}_0$ when $μ_\ell=0$. For example, this includes all even link functions. We resolve this issue by proposing and analyzing an alternative convex recovery method. In a nutshell, our method treats such link functions as if they were linear in a lifted space of higher-dimension. Interestingly, our error analysis captures the effect of both the nonlinearity and the problem's geometry in a few simple summary parameters.

연구 동기 및 목표

• 링크 함수가 짝수일 경우 선형 계수 μℓ가 0이 되어 일반 최소제곱법과 일반화된 Lasso가 구조적 신호를 복원하지 못하는 문제를 다루기.
• 표준 방법이 실패하는 비선형성 유형(예: 짝수 링크 함수)에서도 효과적인 볼록 복원 방법을 개발하기.
• 가우시안 설계 행렬을 가진 고차원 비선형 측정 모델에서 신호 복원의 증명 가능한 성능 보장을 제공하기.
• 비선형성과 문제 기하학성의 병합된 영향을 오차 분석에서 해석 가능한 요약 매개변수로 캡처하기.
• 비선형성으로 인해 크기 정보가 손실되더라도 진짜 신호를 상관계수 수준에서 약한 복원이 가능하도록 하기.

제안 방법

• 비선형 측정값을 올려진 고차원 공간에서 선형인 것처럼 취급하는 볼록 프로그램을 제안하기.
• 링크 함수 f의 구조와 회귀자의 가우시안 성질을 활용해 올려진 최적화 문제를 정의하기.
• x₀에 대한 사전 지식(예: 희박성)을 활용하기 위해 구조적 정규화를 사용하는 정규화된 볼록 프로그램 사용하기.
• 비선형성의 영향을 μℓ와 τℓ를 통해 추정 오차를 제어하기 위해 이중 분석 프레임워크 도입하기.
• Hanson-Wright 부등식과 ε-넷 추론을 적용하여 무작위 외적곱의 가중합의 스펙트럼 노름을 제어하기.
• 희박성 수준 k, 잠재 차원 n, 표본 크기 m, 그리고 링크 함수의 통계적 성질을 포함한 오차 경계 유도하기.

실험 결과

연구 질문

• RQ1 μℓ = 0일 경우 표준 Lasso가 실패하는 고차원 비선형 측정값에서 구조적 신호를 복원할 수 있는가?
• RQ2 짝수 링크 함수 및 선형 방법이 실패하는 기타 비선형성에 대해 효과적인 볼록 복원 방법을 어떻게 설계할 수 있는가?
• RQ3 비선형성과 문제 기하학성에 따라 이러한 방법의 증명 가능한 오차 경계는 어떻게 되는가?
• RQ4 희박성과 같은 구조적 사전 지식을 탄력적으로 통합하면서도 강력한 이론적 보장을 유지할 수 있는가?
• RQ5 요약 매개변수 μℓ와 τℓ는 비선형성과 설계 행렬의 구조적 영향을 어떻게 통합적으로 캡처하는가?

주요 결과

• 제안된 방법은 μℓ = 0인 경우(예: 모든 짝수 링크 함수)에도 진짜 신호 x₀를 성공적으로 복원한다. 이는 표준 Lasso가 실패하는 경우에도 해당된다.
• 추정 오차는 ‖x̂ − μℓ·x₀‖₂ ≲ τℓ·√(k log(n/k))/√m로 유계되며, 리프팅 접근법을 사용할 경우 μℓ = 0이어도 효과적이다.
• 리프팅 공간에서의 오차 경계는 희박성 k, 차원 n, 표본 크기 m, 링크 함수의 통계적 모멘트 μℓ와 τℓ에 따라 결정된다.
• ‖x₀‖₂ = 1이라는 가정 하에 진짜 신호와의 상관계수 수준에서 약한 복원을 달성한다.
• 이론적 분석을 통해 가우시안 외적곱의 가중합 스펙트럼 노름이 Hanson-Wright 부등식과 ε-넷 추론을 통해 제어됨을 보였다.
• 최종 오차 경계는 고확률적으로 O(1/√m)로 스케일되며, k와 n에 대한 의존성은 분산 추정치 내의 log(n/k) 및 k² 항을 통해 기록된다.