[논문 리뷰] Minimum 𝓁 1 -norm interpolation via basis pursuit is robust to errors.

Geoffrey Chinot, Matthias Löffler외 1명|arXiv (Cornell University)|2020. 12. 01.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 i.i.d. 가우시안 특징 수가 표본 크기보다 초선형적으로 증가할 경우, 임의의 덧셈 오차가 존재하더라도 기저 추구(basis pursuit)—최소 ℓ₁-노름 보간—가 진짜 회귀계수를 안정적으로 복원함을 입증한다. 유클리드 오차는 평균 노이즈 수준에 비례함을 보이며, 오차 구조에 대한 가정 없이도 거의 최적의 내성성을 보임을 시사한다.

ABSTRACT

This article studies basis pursuit, i.e. minimum $\ell_1$-norm interpolation, in sparse linear regression with additive errors. No conditions on the errors are imposed. It is assumed that the number of i.i.d. Gaussian features grows superlinear in the number of samples. The main result is that under these conditions the Euclidean error of recovering the true regressor is of the order of the average noise level. Hence, the regressor recovered by basis pursuit is close to the truth if the average noise level is small. Lower bounds that show near optimality of the results complement the analysis. In addition, these results are extended to low rank trace regression. The proofs rely on new lower tail bounds for maxima of Gaussians vectors and the spectral norm of Gaussian matrices, respectively, and might be of independent interest as they are significantly stronger than the corresponding upper tail bounds.

연구 동기 및 목표

• 임의의 덧셈 오차가 존재하는 상황에서 기저 추구의 내성성 분석.
• 오차 분포에 대한 가정 없이 복원된 회귀계수의 오차 한계 설정.
• 기저 추구가 거의 최적의 복원 성능를 달성할 조건 탐구.
• 저질서 행렬 복원 설정으로의 분석 확장.
• 이론적 결과를 뒷받기기 위한 새로운 가우시안 최대값과 특이값 노름에 대한 확률적 한계 유도.

제안 방법

• 회귀계수의 ℓ₁-최소화로 정의된 기저 추구를 사용하여 노이즈가 있는 관측치로부터 희박 신호를 복원.
• 표본 수에 비해 i.i.d. 가우시안 특징 수에 초선형 증가 조건 적용.
• 가우시안 벡터의 최대값과 가우시안 행렬의 스펙트럼 노름에 대한 새로운 하측 尾 확률 한계 유도.
• 이러한 한계를 사용해 유클리드 노름에서 추정된 회귀계수와 진짜 값 간의 이탈을 제어.
• 유사한 ℓ₁-최소화 기법을 사용해 추적 회귀를 통한 저질서 행렬 복원에 프레임워크 확장.
• 기존 상측 尾 확률 한계보다 더 강력한 농도 부등식과 꼬리 한계에 의존.

실험 결과

연구 질문

• RQ1 오차가 임의적이고 구조가 없는 상황에서 기저 추구는 희박 선형 회귀에서 어떻게 성능을 발휘하는가?
• RQ2 노이즈가 존재하더라도 ℓ₁-정규화된 해가 진짜 회귀계수에 가까워지기 위한 조건은 무엇인가?
• RQ3 서브-가우시안 또는 유한 오차 분포 가정 없이도 복원 오차를 평균 노이즈 수준에 따라 유계로 둘 수 있는가?
• RQ4 유도된 오차 한계는 얼마나 최적이며, 이론적 하한과 어떻게 비교되는가?
• RQ5 유사한 보장을 확보할 수 있도록 분석을 추적 회귀를 통한 저질서 행렬 복원으로 확장할 수 있는가?

주요 결과

• 오차 분포에 대한 가정 없이도 기저 추구 추정기의 유클리드 오차는 평균 노이즈 수준의 일정한 배수로 유계임.
• 복원 오차는 평균 노이즈 수준에 비례함으로써, 임의의 덧셈 오차에 대해 내성적임을 시사.
• 논문에서 유도된 매칭 하한과 함께 이론적 한계는 거의 최적임을 입증.
• 가우시안 벡터 최대값과 가우시안 행렬의 스펙트럼 노름에 대한 새로운 하측 꼬리 한계가 확립되었으며, 이는 기존 상측 꼬리 한계보다 더 강력함.
• 결과는 저질서 추적 회귀로 확장되며, 유사한 조건 하에서 동일한 내성성 특성을 보임.
• 유도된 확률적 한계는 복원 이외의 응용 분야에서도 독립적인 관심을 끌 수 있음.