[논문 리뷰] Optimal denoising of rotationally invariant rectangular matrices

Emanuele Troiani, Vittorio Erba외 3명|arXiv (Cornell University)|2022. 03. 15.

Blind Source Separation Techniques인용 수 5

한 줄 요약

이 논문은 추가적 가우시안 노이즈와 회전 대칭 사전 분포 하에서 큰 직사각형 행렬에 대한 최적의 노이즈 제거 방법을 도출한다. 이는 디슨 브라운 motion과 직사각형 하리슈-차이라-이츠키손-지버(HCIZ) 적분의 점근적 분석을 통해 동적 접근을 사용한다. 주요 기여는 고차원 극한에서 최적의 노이즈 제거기와 그 평균 제곱 오차 성능에 대한 명시적 공식을 제공하는 것으로, 특히 행렬 인화와 상관 행렬을 모델링하는 인수 분해형 사전 분포에 중점을 둔다.

ABSTRACT

In this manuscript we consider denoising of large rectangular matrices: given a noisy observation of a signal matrix, what is the best way of recovering the signal matrix itself? For Gaussian noise and rotationally-invariant signal priors, we completely characterize the optimal denoiser and its performance in the high-dimensional limit, in which the size of the signal matrix goes to infinity with fixed aspects ratio, and under the Bayes optimal setting, that is when the statistician knows how the signal and the observations were generated. Our results generalise previous works that considered only symmetric matrices to the more general case of non-symmetric and rectangular ones. We explore analytically and numerically a particular choice of factorized signal prior that models cross-covariance matrices and the matrix factorization problem. As a byproduct of our analysis, we provide an explicit asymptotic evaluation of the rectangular Harish-Chandra-Itzykson-Zuber integral in a special case.

연구 동기 및 목표

• 베이즈 최적 조건 하에서 고차원 극한에서 큰 직사각형 행렬의 최적 노이즈 제거기를 특성화하는 것.
• 이전의 대칭 행렬 결과를 더 일반적인 비대칭, 직사각형 행렬로 확장하는 것.
• 노이즈 제거에 관련된 특수한 경우에서 직사각형 하리슈-차이라-이츠키손-지버(HCIZ) 적분의 명시적 점근적 평가를 제공하는 것.
• 행렬 인화와 상관 행렬 추정을 모델링하는 인수 분해형 신호 사전 분포의 맥락에서 최적 노이즈 제거 성능을 분석하는 것.
• 랭크가 행렬 차원과 함께 증가하는 광범위한 랭크 영역에서의 노이즈 제거 이론적 기초를 확립하는 것.

제안 방법

• 신호 행렬과 그 노이즈가 첨가된 관측값 사이를 연결하기 위해 디슨 브라운 모션 기반의 동적 접근을 사용한다.
• 고차원 극한에서 최적의 노이즈 제거기를 유도하기 위해 직사각형 HCIZ 적분의 점근적 분석을 적용한다.
• 노이즈 분산이 표준 정규화와 일치하지 않는 경우를 다루기 위해 시간 스케일링 기법을 활용한다.
• 회전 대칭성의 제약 조건 하에서 스펙트럼 측도에 대한 변분 문제를 풀어 최적의 노이즈 제거기를 유도한다.
• 노이즈 매개변수를 신호 행렬과 노이즈가 첨가된 행렬에 균등하게 분배함으로써 편향의 가우시안 성질을 유지하는 변환을 도입한다.
• 일정 기능 G(t)의 시간 도함수가 0이 되는 사실을 이용해 초기값과 최종값을 동치로 간주함으로써 HCIZ 적분의 명시적 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신호 사전 분포가 회전 대칭이고 노이즈가 추가적 가우시안일 때, 큰 직사각형 행렬에 대한 최적의 노이즈 제거기는 무엇인가?
• RQ2 고차원 극한에서 고정된 비율을 가진 직사각형 행렬에 대해 최적의 노이즈 제거기 성능은 어떻게 스케일링되는가?
• RQ3 특정 유형의 행렬에 대해 직사각형 하리슈-차이라-이츠키손-지버(HCIZ) 적분을 점근적 극한에서 명시적으로 평가할 수 있는가?
• RQ4 랭크가 행렬 차원과 함께 증가하는 광범위한 랭크 영역에서 최적의 노이즈 제거 성능은 어떻게 비교되는가?
• RQ5 예를 들어 상관 행렬을 모델링하는 데 쓰이는 인수 분해형 사전 분포에 대해 최적의 노이즈 제거기의 해석적 구조는 무엇인가?

주요 결과

• 최적의 노이즈 제거기는 신호 행렬과 관측 행렬의 스펙트럼 측도에 대해 명시적으로 기술되며, 노이즈 수준과 행렬의 비율에 따라 의존한다.
• 가우시안 편향이 있는 경우, 직사각형 HCIZ 적분에 대해 고차원 극한에서 명시적인 점근적 공식이 도출되었으며, 이는 최적의 노이즈 제거 성능을 정확히 계산할 수 있게 한다.
• 최적의 노이즈 제거기의 평균 제곱 오차는 신호 행렬과 노이즈가 첨가된 행렬의 스펙트럼 측도의 기능으로 표현되며, 분산과 엔트로피 유사 항을 포함한다.
• i.i.d. 가우시안 요소를 가진 인수 분해형 사전 분포의 경우, 광범위한 랭크 영역에서 표준 수축 방법보다 성능이 향상되는 최적의 노이즈 제거기가 달성된다.
• 유도 과정에서 최적의 노이즈 제거 성능이 신호 행렬과 관측 행렬의 특이값 분포에만 의존한다는 것이 드러났으며, 이는 회전 대칭성 때문이었다.
• 진짜 사전 분포와 노이즈 모델이 알려진 베이즈 최적 설정 하에서 결과가 성립하며, 실용적 행렬 노이즈 제거 및 인화 알고리즘에 대한 이론적 기준을 제공한다.