[논문 리뷰] Implicit Regularization for Optimal Sparse Recovery

Tomas Vaškevičius, Varun Kanade외 1명|arXiv (Cornell University)|2019. 09. 11.

Sparse and Compressive Sensing Techniques인용 수 26

한 줄 요약

이 논문은 제약 조건이 충족되는 측정값에서 희소 신호를 최소최대 최적 복원하기 위한 그래디언트 디센트 기반 알고리즘을 제안한다. 이는 정밀하게 조정된 초기화, 스텝 크기 및 조기 정지 방법을 통해 암묵적 정규화를 이용한다. 이 방법은 데이터를 읽는 데 필요한 계산 비용과 유사한 비용으로 최적의 통계적 속도를 달성하며, 신호 대 잡음 비율에 적응하여 신호가 충분히 강할 경우 차원에 종속되지 않는 오차를 달성한다.

ABSTRACT

We investigate implicit regularization schemes for gradient descent methods applied to unpenalized least squares regression to solve the problem of reconstructing a sparse signal from an underdetermined system of linear measurements under the restricted isometry assumption. For a given parametrization yielding a non-convex optimization problem, we show that prescribed choices of initialization, step size and stopping time yield a statistically and computationally optimal algorithm that achieves the minimax rate with the same cost required to read the data up to poly-logarithmic factors. Beyond minimax optimality, we show that our algorithm adapts to instance difficulty and yields a dimension-independent rate when the signal-to-noise ratio is high enough. Key to the computational efficiency of our method is an increasing step size scheme that adapts to refined estimates of the true solution. We validate our findings with numerical experiments and compare our algorithm against explicit $\ell_{1}$ penalization. Going from hard instances to easy ones, our algorithm is seen to undergo a phase transition, eventually matching least squares with an oracle knowledge of the true support.

연구 동기 및 목표

• 명시적 정규화 없이 통계적이고 계산적으로 최적의 알고리즘을 개발하기 위해.
• 제약 조건이 있는 등비성 조건(RIP) 하에서 초기화, 스텝 크기 및 정지 시간을 통한 암묵적 정규화가 최소최대 최적 복원을 달성할 수 있음을 보여주기 위해.
• 신호 대 잡음 비율이 높을 경우 신호 강도에 따라 적응하여 유한 차원에 종속되지 않는 오차율을 달성할 수 있음을 보여주기 위해.
• 어려운 인스턴스에서 오ракูล 지원 지식을 가진 최소 제곱법과 동일한 성능을 보이는지 검증하기 위해.
• 신호 강도와 잡음 수준에 명시적으로 의존하는 수렴 및 오차율에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 비볼록 최적화를 가능하게 하고 암묵적인 희소성 유도를 가능하게 하기 위해 $\mathbf{w} = \mathbf{u} \odot \mathbf{u} - \mathbf{v} \odot \mathbf{v}$ 로 가중치 벡터를 매개변수화한다.
• 비볼록 매개변수화를 사용하여 정규화되지 않은 최소 제곱 목적 함수 $\|\mathbf{X}\mathbf{w} - \mathbf{y}\|_2^2$ 에 대해 그래디언트 디센트를 적용한다.
• 진짜 해의 정밀한 추정치에 적응하는 증가하는 스텝 크기를 사용하여 수렴성과 희소성 향상을 도모한다.
• 희소 반복값을 유도하기 위해 $\mathbf{u}_0$ 와 $\mathbf{v}_0$ 를 작은 상수 $\alpha$ 로 초기화한다.
• 과적합을 방지하고 잡음 수준 이상의 신호를 복원할 수 있도록 정지 기준에 따라 알고리즘을 조기에 정지시킨다.
• 수렴성과 오차 감쇠를 추적하기 위해 신호 및 오차 시퀀스 $\mathbf{s}_t$ 와 $\mathbf{e}_t$ 를 분석한다.

실험 결과

연구 질문

• RQ1 RIP 하에서 초기화, 스텝 크기 및 정지 시간을 통한 암묵적 정규화가 희소 선형 회귀에서 최소최대 최적 복원을 달성할 수 있는가?
• RQ2 제안된 알고리즘이 인스턴스 난이도에 적응하여 신호가 잡음 대비 강할 경우 더 나은 수렴률을 달성하는가?
• RQ3 명시적 $\ell_1$ 정규화 없이 최소최대 최적성을 달성하는 데 드는 계산 비용은 얼마인가?
• RQ4 통계적 및 계산적 효율성 측면에서, 이 알고리즘의 성능은 명시적 $\ell_1$ 펜얼티(예: Lasso)와 비교해 어떻게 되는가?
• RQ5 최소 신호 크기가 잡음 수준을 초과할 경우, 이 방법이 유한 차원에 종속되지 않는 오차율을 달성할 수 있는가?

주요 결과

• 제약 조건이 있는 등비성 조건을 가정할 때, $\ell_2$ 오차 $\|\widehat{\mathbf{w}} - \mathbf{w}^\star\|_2^2$ 에 대해 최소최대 최적 속도 $k\sigma^2\log(d/k)/n$ 를 달성한다.
• 어려운 인스턴스에서 오라클 지원 지식을 가진 최소 제곱법과 동일한 성능을 보이며, 어려운 복원에서 쉬운 복원으로의 단계 전이 현상을 보인다.
• 신호 강도에 따라 적응하여 $w^\star_{\min} \gtrsim \|\mathbf{X}^\top \boldsymbol{\xi}\|_\infty / n$ 일 때 차원에 종속되지 않는 오차율을 달성한다.
• 총 계산 비용은 $\widetilde{O}(nd)$ 로, 다항로그 인자 외에는 데이터를 읽는 데 드는 비용과 동일하다.
• 기존 연구에서 $w^\star_{\max} \lesssim 1$ 이라고 가정한 것과 달리, 오차 경계에 $w^\star_{\max}$ 에 대한 명시적 의존성이 포함되어 있어 결과가 더 일반적이다.
• 이전 연구에 비해 더 날카운 오차 경계를 달성하며, 오차 경계에 $\log k$ 인자가 포함되어 있다. 이는 RIP 매개변수 $\delta$ 에 대해 더 강한 가정 덕분이다.