[논문 리뷰] Estimation in Rotationally Invariant Generalized Linear Models via Approximate Message Passing

Ramji Venkataramanan, Kevin Kögler외 1명|arXiv (Cornell University)|2021. 12. 08.

Blind Source Separation Techniques인용 수 11

한 줄 요약

이 논문은 회전 대칭 설계 행렬을 가진 일반화된 선형 모델을 위한 새로운 약한 메시지 전파(AMP) 알고리즘인 회전 대칭 불변 근사 메시지 전파(RI-GAMP)를 소개한다. 고차원 극한에서 상태 진화 특성 분석을 달성하며, 특이값 분해를 회피함으로써 벡터 AMP 성능을 유사하게 유지하면서도 훨씬 낮은 계산 비용을 제공한다. 또한 설계 행렬이 i.i.d. 가우시안일 경우 표준 GAMP로 복원된다.

ABSTRACT

We consider the problem of signal estimation in generalized linear models defined via rotationally invariant design matrices. Since these matrices can have an arbitrary spectral distribution, this model is well suited for capturing complex correlation structures which often arise in applications. We propose a novel family of approximate message passing (AMP) algorithms for signal estimation, and rigorously characterize their performance in the high-dimensional limit via a state evolution recursion. Our rotationally invariant AMP has complexity of the same order as the existing AMP derived under the restrictive assumption of a Gaussian design; our algorithm also recovers this existing AMP as a special case. Numerical results showcase a performance close to Vector AMP (which is conjectured to be Bayes-optimal in some settings), but obtained with a much lower complexity, as the proposed algorithm does not require a computationally expensive singular value decomposition.

연구 동기 및 목표

• 회전 대칭 설계 행렬을 가진 일반화된 선형 모델을 위한 효율적인 근사 메시지 전파 알고리즘을 개발한다. 이는 i.i.d. 가우시안 행렬을 일반화하며, 복잡한 상관관계를 포괄한다.
• 상태 진화 재귀를 사용하여 고차원 극한에서 제안된 알고리즘의 성능을 엄밀하게 특성화한다.
• 기존의 SVD를 요구하는 복잡한 방법들(예: 벡터 AMP)과 비교해 계산 복잡도를 감소시킨다.
• 설계 행렬의 스펙트럼 분포의 자유 누적량을 통한 스펙트럼 정보 통합을 통해 기존의 AMP 프레임워크를 통합 및 확장한다.
• 스펙트럼 방법 등 다른 추정기의 분석을 위한 유연한 프레임워크를 제공한다.

제안 방법

• 알고리즘인 RI-GAMP는 설계 행렬의 스펙트럼 분포의 자유 누적량에 의존하는 다변량 노이즈 제거 함수 쌍을 사용한다.
• 차원이 커질수록 알고리즘의 점근적 행동을 추적하는 상태 진화 재귀를 반복적으로 업데이트하여 신호 추정치를 개선한다.
• 스펙트럼 분포의 자유 누적량이 알려져 있다고 가정함으로써 정확한 성능 예측이 가능해지며, 이는 상태 진화를 유도한다.
• 회전 대칭성을 활용하여 설계 행렬의 SVD 계산을 피함으로써 복잡도를 표준 GAMP 수준으로 낮춘다.
• 설계 행렬이 i.i.d. 가우시안일 경우 RI-GAMP는 정확히 표준 GAMP 알고리즘으로 축소되며, 이는 기존 이론과의 일관성을 보장한다.
• 이론적 분석은 유도법과 측도 집중의 추론을 사용한 새로운 상태 진화 증명에 기반하며, 코시-슈바르츠 부등식과 리프시츠 연속성으로 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 회전 대칭 설계 행렬을 가진 일반화된 선형 모델을 위한 약한 메시지 전파 알고리즘을 설계할 수 있는가? 이 알고리즘은 낮은 계산 복잡도를 유지할 수 있는가?
• RQ2 제안된 RI-GAMP 알고리즘이 고차원 설정에서 베이즈 최적 추정기인 벡터 AMP 수준의 성능을 달성하는가?
• RQ3 RI-GAMP에 대해 고차원 극한에서 성능을 특성화하는 엄밀한 상태 진화 재귀를 유도할 수 있는가?
• RQ4 합성 및 실세계 데이터에서 RI-GAMP의 정확도와 계산 비용이 벡터 AMP와 비교해 어떻게 되는가?
• RQ5 이 프레임워크는 회전 대칭 GLM에서의 스펙트럼 추정기 분석으로 확장될 수 있는가?

주요 결과

• RI-GAMP는 선형 회귀와 1비트 압축 측정 문제 모두에서 벡터 AMP 성능에 매우 가까운 성능을 달성하며, 이는 일부 설정에서 베이즈 최적 성능으로 추측된다.
• 알고리즘은 표준 GAMP 수준의 계산 복잡도를 유지하며, 벡터 AMP에서 요구하는 고비용 SVD 계산을 피한다.
• RI-GAMP의 상태 진화 재귀는 엄밀하게 증명되었으며, n,d→∞ 이면서 고정된 δ=n/d일 때 알고리즘의 성능을 고차원 극한에서 특성화한다.
• 설계 행렬이 i.i.d. 가우시안일 경우 RI-GAMP는 정확히 표준 GAMP 알고리즘으로 축소되며, 이는 이론적 일관성을 검증한다.
• 합성 데이터와 이미지 복원에 대한 수치 결과는 RI-GAMP가 높은 정확도를 유지하면서도 SVD 기반 대안들에 비해 뚜렷이 빠른 실행 시간을 보임을 보여준다.
• 이론적 프레임워크는 회전 대칭 GLM에서의 스펙트럼 추정기 분석을 가능하게 하며, 고차원 통계적 추정 분야에서 새로운 연구 방향을 열어준다.