[논문 리뷰] Structured Recovery with Heavy-tailed Measurements: A Thresholding Procedure and Optimal Rates

Xiaohan Wei|arXiv (Cornell University)|2018. 04. 16.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 9

한 줄 요약

이 논문은 유한한 모멘트만을 갖는 무거운 尾를 가진 측정값에서 구조적 신호를 복원하기 위한 정규화된 임계값이 부여된 최소 제곱 추정기(regularized thresholded least-squares estimator)를 제안한다. 선형 링크 함수의 경우 (20+ε)-모멘트, 일반 링크 함수의 경우 (4+ε)-모멘트라는 최소한의 모멘트 가정 하에, 기존의 서브가우시안 가정이 실패하는 상황에서도 높은 확률로 최적의 샘플 수와 오차 비율을 확립한다.

ABSTRACT

This paper introduces a general regularized thresholded least-square procedure estimating a structured signal $θ_*\in\mathbb{R}^d$ from the following observations: $y_i = f(\langle\mathbf{x}_i, θ_* angle, ξ_i),~i\in\{1,2,\cdots,N\}$, with i.i.d. heavy-tailed measurements $\{(\mathbf{x}_i,y_i)\}_{i=1}^N$. A general framework analyzing the thresholding procedure is proposed, which boils down to computing three critical radiuses of the bounding balls of the estimator. Then, we demonstrate these critical radiuses can be tightly bounded in the following two scenarios: (1) The link function $f(\cdot)$ is linear, i.e. $y = \langle\mathbf{x},θ_* angle + ξ$, with $θ_*$ being a sparse vector and $\{\mathbf{x}_i\}_{i=1}^N$ being general heavy-tailed random measurements with bounded $(20+ε)$-moments. (2) The function $f(\cdot)$ is arbitrary unknown (possibly discontinuous) and $\{\mathbf{x}_i\}_{i=1}^N$ are heavy-tailed elliptical random vectors with bounded $(4+ε)$-moments. In both scenarios, we show under these rather minimal bounded moment assumptions, such a procedure and corresponding analysis lead to optimal sample and error bounds with high probability in terms of the structural properties of $θ_*$.

연구 동기 및 목표

• 서브가우시안 측정값을 가정하는 이론적 모델과 실세계 데이터의 중량 있는 잡음 및 이방성(outliers) 간의 격차를 메우기 위해.
• 유한한 모멘트(예: 4+ε 또는 20+ε)만 제공될 때 구조적 신호를 위한 강건한 추정 프레임워크를 개발하기 위해.
• 약한 모멘트 조건 하에서 희소 및 일반적인 구조적 복원에 대해 최적의 샘플 복잡도와 오차 한계를 확립하기 위해.
• 등방성 서브가우시안 설계 벡터를 요구하지 않는 일반적인 임계값 처리 절차를 제공하기 위해.

제안 방법

• 무거운 尾 관측값에서 구조적 신호를 복원하기 위한 정규화된 임계값이 부여된 최소 제곱 추정기를 제안한다.
• 추정기의 매개변수 공간 내 지지 집합을 둘러싸는 세 가지 핵심 반경(critical radiuses)을 통한 분석 프레임워크를 도입한다.
• 선형 링크 함수의 경우 (20+ε)-모멘트, 일반적인 알려지지 않은 링크 함수의 경우 (4+ε)-모멘트를 가정하여 이러한 핵심 반경을 제한한다.
• 가우시안 폭(Gaussian width)과 경험 과정 기법을 활용하여 약한 모멘트 조건 하에서 추정 오차를 통제한다.
• 측정 과정에서 중량 있는 잡음 이방성의 영향을 억제하기 위해 임계값 처리 메커니즘을 적용한다.
• 약한 모멘트 가정 하에서 농도 불등식(concentration inequalities)을 사용하여 추정 오차와 샘플 복잡도에 대한 고확률 경계를 유도한다.

실험 결과

연구 질문

• RQ1 측정값이 유한한 모멘트만을 갖는 중량 있는 尾를 가지며, 서브가우시안 가정이 성립하지 않는 경우에도 구조적 신호의 최적 복원 비율을 달성할 수 있는가?
• RQ2 최소한의 모멘트 가정 하에 임계값 기반 정규화된 최소 제곱 절차가 최적의 샘플 복잡도와 오차 한계를 달성할 수 있는가?
• RQ3 중량 있는 尾 설계에 대해 제한된 등방성 조건(Restricted Isometric Property, RIP)을 모멘트 기반 경계로 대체하거나 약화시킬 수 있는가?
• RQ4 등방성 서브가우시안 설계 벡터를 가정하지 않고도 희소 복원에서 최적의 비율을 달성할 수 있는가?
• RQ5 일반적인(가능성 있는 비연속성 포함) 링크 함수와 중량 있는 타원형 설계 하에서 오차와 샘플 복잡도의 척도는 어떻게 변하는가?

주요 결과

• 선형 링크 함수와 희소 신호의 경우, 설계 벡터에 대해 (20+ε)-모멘트 가정 하에 오차 비율이 $\sqrt{\frac{s\log d}{N}}$의 순서로 최적을 달성한다.
• 일반적인 알려지지 않은 링크 함수의 경우, 설계 벡터에 대해 (4+ε)-모멘트 가정 하에 최적의 오차 경계를 달성한다.
• 임계값 처리 절차는 잡음이나 설계가 중량 있는 尾를 가질 경우에도 추정기의 오차가 높은 확률로 유한하게 유지됨을 보장한다.
• 모멘트 기반 농도 불등식을 사용하여 추정기의 핵심 반경을 날카럽게 제한함으로써, 서브가우시안 가정 없이도 최적의 비율을 달성할 수 있다.
• 샘플 복잡도는 희소 복원에서 정보 이론적 하한 $N \gtrsim s\log d$ 와 일치하며, 약한 모멘트 조건 하에서도 성립한다.
• 분석 결과, 복원을 위해 필요한 것은 RIP의 하한 경계뿐이며, 이는 서브가우시안성보다 훨씬 약한 모멘트 가정 조건 하에서도 확보될 수 있음을 보여준다.