[논문 리뷰] Detection thresholds in very sparse matrix completion

Charles Bordenave, Simon Coste외 1명|arXiv (Cornell University)|2020. 05. 12.

Random Matrices and Applications인용 수 6

한 줄 요약

이 논문은 랜덤화된 엔트리 마스킹을 활용하여 매우 희박한 행렬 완성에서 탐지 임계값을 크게 향상시키는 새로운 비대칭 행렬 분해 방법을 제안한다. $ A_1(A - A_1)^* $ 와 $ (A - A_1)^*A_1 $ 의 비에르미트 고유스펙트럼을 분석함으로써, 비균일한 단일값 벡터를 가진 저질서 행렬을 통계적으로 최적의 복원이 가능하게 하며, 행당 관측된 항목 수 $ d \asymp 1 $ 인 경우에도 가능하게 하여 기존의 정보 이론적 장벽인 $ d \asymp \log n $ 을 뛰어넘는다.

ABSTRACT

Let $A$ be a rectangular matrix of size $m imes n$ and $A_1$ be the random matrix where each entry of $A$ is multiplied by an independent $\{0,1\}$-Bernoulli random variable with parameter $1/2$. This paper is about when, how and why the non-Hermitian eigen-spectra of the randomly induced asymmetric matrices $A_1 (A - A_1)^*$ and $(A-A_1)^*A_1$ captures more of the relevant information about the principal component structure of $A$ than via its SVD or the eigen-spectra of $A A^*$ and $A^* A$, respectively. Hint: the asymmetry inducing randomness breaks the echo-chamber effect that cripples the SVD. We illustrate the application of this striking phenomenon on the low-rank matrix completion problem for the setting where each entry is observed with probability $d/n$, including the very sparse regime where $d$ is of order $1$, where matrix completion via the SVD of $A$ fails or produces unreliable recovery. We determine an asymptotically exact, matrix-dependent, non-universal detection threshold above which reliable, statistically optimal matrix recovery using a new, universal data-driven matrix-completion algorithm is possible. Averaging the left and right eigenvectors provably improves the recovered matrix but not the detection threshold. We define another variant of this asymmetric procedure that bypasses the randomization step and has a detection threshold that is smaller by a constant factor but with a computational cost that is larger by a polynomial factor of the number of observed entries. Both detection thresholds shatter the seeming barrier due to the well-known information theoretical limit $d \asymp \log n$ for matrix completion found in the literature.

연구 동기 및 목표

• 매우 희박한 행렬에서 저질서 행렬 완성 문제의 정보 이론적 한계인 $ d \asymp \log n $ 을 극복하기 위해.
• 관측된 항목이 희박한 부분집합일 때도 저질서 행렬 $ P $ 의 주성분을 신뢰성 있게 탐지할 수 있는 방법을 개발하기 위해.
• 베르누이 마스킹 행렬 $ A_1 $ 를 통한 비대칭성과 랜덤성 도입이 표준 SVD보다 더 나은 스펙트럼 복원 성능을 보임을 보여주기 위해.
• 행렬 $ P $ 의 원소 분포에 명시적으로 의존하는 비보편적 탐지 임계값을 설정하기 위해.

제안 방법

• 관측된 행렬 $ A $ 의 절반을 i.i.d. 베르누이(1/2) 행렬 $ Z $ 를 사용해 랜덤하게 마스킹하여 $ A_1 = Z \odot A $ 와 $ A_2 = A - A_1 $ 를 구성한다.
• 스펙트럼 복원을 위해 비대칭 행렬 $ X = A_1 A_2^* $ 와 $ Y = A_1^* A_2 $ 를 구성하고, 이들의 비에르미트 고유스펙트럼을 분석한다.
• 스펙트럼 편향 이론과 그래프 이론적 도구(예: 갈톤-워슨 트리와 백트래킹이 없는 산책)를 사용하여 고유값과 고유벡터가 $ PP^* $ 와 $ P^*P $ 와 정렬되는지 분석한다.
• 고유값의 모듈러스가 임계값 $ \vartheta $ 를 초과하는 경우 $ P $ 의 단일값과 대응되며, 고유벡터가 정렬됨을 보장하는 임계값 $ \vartheta $ 를 설정한다.
• 임계값 $ \vartheta $ 가 渐近적으로 정확하고 비보편적이며, $ P $ 의 원소 분포에 명시적으로 의존함을 증명한다.
• 랜덤성을 제거하는 결정론적 변형을 도입하나, 관측 항목 수에 대해 다항식 정도로 계산 복잡도가 증가하는 대신 임계값을 상수 배수로 개선한다.

실험 결과

연구 질문

• RQ1 행당 관측 항목 수 $ d \asymp 1 $ 인 경우에도 저질서 행렬 $ P $ 의 주성분의 구조를 신뢰성 있게 탐지할 수 있는가?
• RQ2 랜덤 마스킹 행렬 $ A_1 $ 를 통한 비대칭성과 랜덤성 도입이 관측된 행렬 $ A $ 의 표준 SVD 보다 더 나은 스펙트럼 복원 성능을 보이는가?
• RQ3 $ X = A_1 A_2^* $ 와 $ Y = A_1^* A_2 $ 의 고유스펙트럼으로부터 $ P $ 의 비영 단일값을 식별하는 정확한 탐지 임계값 $ \vartheta $ 는 무엇인가?
• RQ4 탐지 임계값은 $ P $ 의 원소 분포에 어떻게 의존하며, $ d \asymp \log n $ 장벽을 초월해 개선할 수 있는가?
• RQ5 데이터 기반의 보편 알고리즘이 이 임계값 이상에서 신뢰성 있는 행렬 복원을 가능하게 하는가? 그리고 고유벡터 평균화가 정확도를 향상시키는가?

주요 결과

• $ X = A_1 A_2^* $ 와 $ Y = A_1^* A_2 $ 의 고유값 중 모듈러스가 임계값 $ \vartheta $ 를 초과하는 것은 $ n \to \infty $ 일 때 고유값의 모듈러스가 $ P $ 의 단일값의 제곱 $ \sigma_k^2 $ 와 渐近적으로 일치하며, 높은 확률로 성립한다.
• $ X $ 와 $ Y $ 의 대응하는 오른쪽 및 왼쪽 고유벡터는 $ P $ 의 단일벡터와 정렬되어 있어 주성분의 구조를 일관되게 추정할 수 있다.
• 탐지 임계값 $ \vartheta $ 는 보편적이지 않으며, $ P $ 의 원소 분포에 명시적으로 의존한다. 이는 $ \log n $ 과 같은 보편 임계값과는 다름을 의미한다.
• 이 임계값 이상에서는 매우 희박한 상황($ d \asymp 1 $)에서도 보편적이고 데이터 기반의 알고리즘을 사용해 신뢰성 있고 통계적으로 최적의 행렬 복원이 가능하다.
• 왼쪽 및 오른쪽 고유벡터를 평균화하면 추정 정확도는 향상되나, 탐지 임계값에는 영향을 주지 않는다.
• 이 방법의 결정론적 변형은 임계값을 상수 배수로 낮추지만, 관측 항목 수에 대해 다항식 정도로 계산 복잡도가 증가한다.