[논문 리뷰] Adapting to Unknown Noise Distribution in Matrix Denoising

Andrea Montanari, Feng Ruan외 1명|arXiv (Cornell University)|2018. 10. 06.

Random Matrices and Applications참고 문헌 29인용 수 8

한 줄 요약

이 논문은 소음 분포에 대한 사전 지식 없이도 최소최대 추정 오차를 달성하는 적응형 행렬 노이즈 제거 방법을 제안한다. 피셔 정보와 데이터 기반 비선형성의 활용을 통해 알려지지 않은 i.i.d. 소음에 적응하며, 고차원 극한에서 정보 이론적으로 최적의 임계값 $(mn)^{1/4} \mathrm{I}_W^{1/2}$까지 낮은 질서 행렬의 약한 복원을 달성한다. 이는 이론적 하한선과 정확히 일치한다.

ABSTRACT

We consider the problem of estimating an unknown matrix $\boldsymbol{X}\in {\mathbb R}^{m imes n}$, from observations $\boldsymbol{Y} = \boldsymbol{X}+\boldsymbol{W}$ where $\boldsymbol{W}$ is a noise matrix with independent and identically distributed entries, as to minimize estimation error measured in operator norm. Assuming that the underlying signal $\boldsymbol{X}$ is low-rank and incoherent with respect to the canonical basis, we prove that minimax risk is equivalent to $(\sqrt{m}\vee\sqrt{n})/\sqrt{I_W}$ in the high-dimensional limit $m,n o\infty$, where $I_W$ is the Fisher information of the noise. Crucially, we develop an efficient procedure that achieves this risk, adaptively over the noise distribution (under certain regularity assumptions). Letting $\boldsymbol{X} = \boldsymbol{U}{\boldsymbolΣ}\boldsymbol{V}^{\sf T}$ --where $\boldsymbol{U}\in {\mathbb R}^{m imes r}$, $\boldsymbol{V}\in{\mathbb R}^{n imes r}$ are orthogonal, and $r$ is kept fixed as $m,n o\infty$-- we use our method to estimate $\boldsymbol{U}$, $\boldsymbol{V}$. Standard spectral methods provide non-trivial estimates of the factors $\boldsymbol{U},\boldsymbol{V}$ (weak recovery) only if the singular values of $\boldsymbol{X}$ are larger than $(mn)^{1/4}{ m Var}(W_{11})^{1/2}$. We prove that the new approach achieves weak recovery down to the the information-theoretically optimal threshold $(mn)^{1/4}I_W^{1/2}$.

연구 동기 및 목표

• 소음 분포가 알려져 있지 않지만 유한한 피셔 정보를 가진 i.i.d. 조건일 때 행렬 노이즈 제거 문제를 해결하기 위해.
• 낮은 질서 행렬 추정의 정보 이론적으로 최적의 복원 임계값과 표준 스펙트럼 방법 간의 격차를 메우기 위해.
• 소음 분포에 대한 지식이 필요 없이 최소최대 위험을 달성하는 효율적이고 적응형 절차를 개발하기 위해.
• 고차원 극한 $m,n \to \infty$에서 최적의 추정 오차가 $(\sqrt{m} \vee \sqrt{n}) / \sqrt{\mathrm{I}_W}$임을 입증하기 위해.

제안 방법

• 이 방법은 모멘트 제약 조건 하에서 추정 오차를 최소화하는 비선형성 $f_W(x)$를 데이터 기반으로 구성한다. 이 비선형성은 점수 함수 $-p_W'(x)/p_W(x)$에 기반한다.
• 소음의 구조를 대체로 사용하기 위해 피셔 정보 $\mathrm{I}_W = \int \frac{(p_W')^2}{p_W} dx$를 활용하여 분포에 의존하지 않는 추정을 가능하게 한다.
• 관측된 행렬 $\boldsymbol{Y} = \boldsymbol{X} + \boldsymbol{W}$에 대해 성분별 비선형 노이즈 제거기 $f(\boldsymbol{Y})$를 적용하며, 이때 $f$는 $\mathbb{E}[f(W)] = 0$ 및 $\mathbb{E}[f'(W)] = 1$를 만족하도록 선택된다.
• 이 방법은 추정 오차 $\mathbb{E}[\|\hat{\boldsymbol{X}} - \boldsymbol{X}\|_{\rm op}] = (\sqrt{m} \vee \sqrt{n}) \cdot \mathrm{I}_W^{-1/2} + O(1)$를 달성하며, 이는 최소최대 하한선과 정확히 일치한다.
• 이 방법은 알려지지 않은 소음 분포에 대해 강건하며, 단지 정보 이론적으로 최적의 임계값 $ (mn)^{1/4} \mathrm{I}_W^{1/2} $까지 단서 벡터 $\boldsymbol{U}, \boldsymbol{V}$의 약한 복원을 달성한다.

실험 결과

연구 질문

• RQ1 소음 분포를 알지 못하더라도 행렬 노이즈 제거에서 최소최대 추정 오차를 달성할 수 있는가?
• RQ2 알 수 없는 소음 조건 하에서 낮은 질서 행렬 추정의 정보 이론적으로 최적의 복원 임계값은 실제로 달성 가능한가?
• RQ3 데이터 기반의 적응형 노이즈 제거 절차는 소음 분포를 알고 있는 오라클의 성능을 따라잡을 수 있는가?
• RQ4 알 수 없는 i.i.d. 소음 조건 하에서 낮은 질서 행렬 인자들의 약한 복원의 기본 한계는 무엇인가?
• RQ5 피셔 정보 $\mathrm{I}_W$는 고차원 행렬 노이즈 제거에서 최소최대 위험을 완전히 특징화하는가?

주요 결과

• 낮은 질서와 비균형 조건 하에서 고차원 극한 $m,n \to \infty$에서 행렬 노이즈 제거의 최소최대 위험은 $ (\sqrt{m} \vee \sqrt{n}) / \sqrt{\mathrm{I}_W} $이다.
• 제안된 적응형 추정기는 소음 분포에 대한 사전 지식 없이도 이러한 최소최대 위험을 달성하며, $p_W$에 대한 정규성 조건 하에서 성립한다.
• 단서 벡터 $\boldsymbol{U}, \boldsymbol{V}$의 약한 복원은 정보 이론적으로 최적의 임계값 $ (mn)^{1/4} \mathrm{I}_W^{1/2} $까지 가능하다.
• 표준 스펙트럼 방법은 임계값 $ (mn)^{1/4} \mathrm{Var}(W_{11})^{1/2} $ 이하에서 실패하지만, 새로운 방법은 더 날카운 $ \mathrm{I}_W^{1/2} $ 임계값까지 성능을 달성한다.
• 이 방법은 효율적이며 점수 함수에서 유도된 비선형성에 기반하며, 피셔 정보 일치를 통한 최적의 추정 오차를 달성한다.