[논문 리뷰] Spectral Universality of Regularized Linear Regression with Nearly Deterministic Sensing Matrices

Rishabh Dudeja, Subhabrata Sen외 1명|arXiv (Cornell University)|2022. 08. 04.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 거의 결정론적인 센싱 행렬을 갖는 정규화된 선형 회귀에서 스펙트럼 보편성을 확립하며, 동일한 스펙트럼과 일반적인 특이벡터를 공유하는 광범위한 행렬 클래스 내에서 성능과 프록시멀 그래디언트 다이내믹스가 渐진적으로 동일하다는 것을 증명한다. 핵심 기여는 결정론적 스펙트럼 및 벡터 조건으로 정의된 공식적 보편성 클래스를 제안하는 것으로, 이는 구조적, 상관관계가 있는, 또는 결정론적인 행렬에 대한 회전 대칭 집단을 대체로 사용하여 분석을 가능하게 한다.

ABSTRACT

It has been observed that the performances of many high-dimensional estimation problems are universal with respect to underlying sensing (or design) matrices. Specifically, matrices with markedly different constructions seem to achieve identical performance if they share the same spectral distribution and have ``generic'' singular vectors. We prove this universality phenomenon for the case of convex regularized least squares (RLS) estimators under a linear regression model with additive Gaussian noise. Our main contributions are two-fold: (1) We introduce a notion of universality classes for sensing matrices, defined through a set of deterministic conditions that fix the spectrum of the sensing matrix and precisely capture the previously heuristic notion of generic singular vectors; (2) We show that for all sensing matrices that lie in the same universality class, the dynamics of the proximal gradient descent algorithm for solving the regression problem, as well as the performance of RLS estimators themselves (under additional strong convexity conditions) are asymptotically identical. In addition to including i.i.d. Gaussian and rotational invariant matrices as special cases, our universality class also contains highly structured, strongly correlated, or even (nearly) deterministic matrices. Examples of the latter include randomly signed versions of incoherent tight frames and randomly subsampled Hadamard transforms. As a consequence of this universality principle, the asymptotic performance of regularized linear regression on many structured matrices constructed with limited randomness can be characterized by using the rotationally invariant ensemble as an equivalent yet mathematically more tractable surrogate.

연구 동기 및 목표

• 고차원 선형 회귀에서 정규화된 최소제곱(Regularized Least Squares, RLS) 추정기의 엄밀한 보편성 원리를 확립하기 위해.
• i.i.d. 또는 회전 대칭 행렬을 초월하는 광범위한 센싱 행렬 클래스를 정의하여, 동일한 스펙트럼 및 벡터 조건을 공유할 경우 성능이 渐진적으로 동일하다는 것을 보여주기 위해.
• 예를 들어, 부호가 무작위인 비정상적 티트 프레임이나 하다르드 행렬의 부분표본화와 같은 구조적, 상관관계가 있거나 거의 결정론적인 행렬이, 회전 대칭 행렬과 동일한 보편성 클래스에 속한다는 것을 보여주기 위해.
• 낮은 랜덤성의 복잡한 센싱 설계의 점근적 성능 특성을, 수학적으로 다룰 수 있는 회전 대칭 집단을 대체물로 사용하여 특성화할 수 있도록 하기 위해.
• 강한 볼록성 조건 하에서 VAMP 및 GFOM 프레임워크를 사용하여, 프록시멀 그래디언트 하강 다이내믹스와 RLS 추정기 성능의 보편성을 증명하기 위해.

제안 방법

• 센싱 행렬의 스펙트럼과 특이벡터에 대한 결정론적 조건으로 정의된 보편성 클래스를 도입하여, 일반성과 스펙트럼 안정성을 확보한다.
• 고차원 점근적 조건 하에서 알고리즘 다이내믹스를 분석하기 위해 벡터 근사 메시지 전달(VAMP) 및 일반 제1차 방법(GFOM)을 사용한다.
• 다항식 근사와 모멘트 기반 집중 분석을 활용하여 MVAMP(다변량 VAMP) 다이내믹스의 보편성을 증명한다.
• 모멘트의 방법과 단순한 구성으로의 분해를 적용하여, 반복값의 다항식 함수 기댓값의 보편성을 확립한다.
• 고차원 벡터 다이내믹스를 단순화하고 수렴을 보장하기 위해 직교화 및 화이트닝 기법을 사용한다.
• 함수의 연속성과 다항식 유계성을 활용하여 점근적 행동을 유지하는 근사 수열을 구성한다.

실험 결과

연구 질문

• RQ1 다른 구성 방식을 갖는 센싱 행렬 간에, 동일한 스펙트럼과 일반적인 특이벡터를 공유할 경우, 정규화된 선형 회귀의 성능이 보편적으로 특성화될 수 있는가?
• RQ2 RLS 추정기의 프록시멀 그래디언트 하강 다이내믹스는 다양한 센싱 행렬 집단 간에 동일한 점근적 행동을 보이는가?
• RQ3 예를 들어, 무작위로 부호가 붙은 비정상적 티트 프레임이나 부분표본화된 하다르드 변환과 같은 구조적, 거의 결정론적인 행렬은 점근적 성능 측면에서 회전 대칭 행렬과 동일하게 간주될 수 있는가?
• RQ4 i.i.d. 및 결정론적 구성 방식을 모두 포함하는 공식적 보편성 클래스가 존재하는가? 이 클래스 내에서 RLS 추정기 및 알고리즘 다이내믹스의 성능가 동일한가?
• RQ5 낮은 랜덤성의 복잡한 센싱 설계에서 RLS의 점근적 성능을, 회전 대칭 집단을 대체물로 사용하여 정확하게 예측할 수 있는가?

주요 결과

• 고정된 스펙트럼과 일반적인 특이벡터를 갖는 보편성 클래스 내 모든 센싱 행렬에서 RLS 추정기 성능과 프록시멀 그래디언트 하강 다이내믹스의 점근적 성능이 동일하다.
• 보편성 클래스는 i.i.d. 가우시안, 회전 대칭, 그리고 무작위로 부호가 붙은 비정상적 티트 프레임, 부분표본화된 하다르드 변환과 같은 고도로 구조화된 행렬을 포함한다.
• 강한 상관관계 또는 낮은 랜덤성을 갖는 거의 결정론적 행렬도 보편성 클래스의 스펙트럼 및 벡터 조건를 충족할 경우 여전히 보편적 행동을 보인다.
• 스펙트럼 보편성 덕분에, 복잡한 구조적 행렬에서 정규화된 회귀의 성능은 회전 대칭 집단을 대체물로 사용하여 정확하게 예측할 수 있다.
• VAMP 및 GFOM 프레임워크는 동일한 조건 하에서 보편적이며, 보편성 클래스 전반에서 동일한 극한으로 수렴한다.
• 다항식 근사와 모멘트 기반 집중 기법을 통해 고차원 벡터 반복값의 수렴이 보편적 극한으로 수렴함을 증명함으로써 보편성이 성공적으로 확립되었다.