[논문 리뷰] Subspace Estimation from Unbalanced and Incomplete Data Matrices: $\ell_{2,\infty}$ Statistical Guarantees

Changxiao Cai, Gen Li외 3명|arXiv (Cornell University)|2019. 10. 09.

Sparse and Compressive Sensing Techniques참고 문헌 134인용 수 6

한 줄 요약

이 논문은 열 차원 $d_2$가 행 차원 $d_1$에 비해 크게 초과하는 경우, 균형 잡히지 않은, 완전하지 않은, 노이즈가 섞인 데이터 행렬에서 낮은 질서의 행렬의 열 공간을 추정하기 위해 대각 성분 제거를 적용한 스펙트럼 방법을 제안한다. 이는 기존 결과보다 높은 비균형 상태에서 향상된 새로운 $ ild{O}(all_{2,rown})$ 통계적 보장을 수립하며, 최소 최대 하한선과 일치하고, 텐서 복원, 공분산 추정, 커뮤니티 탐지에의 응용을 포함한다.

ABSTRACT

This paper is concerned with estimating the column space of an unknown low-rank matrix $\boldsymbol{A}^{\star}\in\mathbb{R}^{d_{1} imes d_{2}}$, given noisy and partial observations of its entries. There is no shortage of scenarios where the observations -- while being too noisy to support faithful recovery of the entire matrix -- still convey sufficient information to enable reliable estimation of the column space of interest. This is particularly evident and crucial for the highly unbalanced case where the column dimension $d_{2}$ far exceeds the row dimension $d_{1}$, which is the focal point of the current paper. We investigate an efficient spectral method, which operates upon the sample Gram matrix with diagonal deletion. While this algorithmic idea has been studied before, we establish new statistical guarantees for this method in terms of both $\ell_{2}$ and $\ell_{2,\infty}$ estimation accuracy, which improve upon prior results if $d_{2}$ is substantially larger than $d_{1}$. To illustrate the effectiveness of our findings, we derive matching minimax lower bounds with respect to the noise levels, and develop consequences of our general theory for three applications of practical importance: (1) tensor completion from noisy data, (2) covariance estimation / principal component analysis with missing data, and (3) community recovery in bipartite graphs. Our theory leads to improved performance guarantees for all three cases.

연구 동기 및 목표

• 관측치가 극도로 부족하고 노이즈가 섞여 있는 상황, 특히 $d_2 \gg d_1$인 비균형 상태에서 낮은 질서의 행렬의 열 공간을 추정하는 문제에 대응하기 위해.
• 표본 그램 행렬에 대각 성분을 제거한 후 작동하는 통계적으로 타당하고 계산 효율성이 높은 스펙트럼 방법을 개발하기 위해.
• 비균형 설정 하에서 $\ell_2$ 및 $\ell_{2,\frown}$ 노름에 대한 엄밀한 통계적 오차 한계를 도출하여 기존 결과를 향상시키기 위해.
• 제안된 방법의 성능 보장이 최적임을 확인하기 위해 최소 최대 하한선을 유도하기 위해.
• 실제 문제에 대한 이론의 실용적 관련성을 입증하기 위해, 텐서 복원, 누락 데이터가 있는 공분산 추정, 이분 그래프에서의 커뮤니티 복원에의 응용을 제시하기 위해.

제안 방법

• 관측된 데이터의 표본 그램 행렬에 스펙트럼 알고리즘을 적용하며, 노이즈가 섞인 자기 관측치에서 발생하는 편향을 줄이기 위해 대각 성분을 제거한다.
• 표본 그램 행렬이 기대값에서 벗어나는 정도를 제어하기 위해 떼어내기 분석(leave-one-out analysis)을 활용한다. 특히 고차원 및 비균형 설정에서 효과적이다.
• 이론적 분석은 성분이 유한하고 서브가우시안 尾 꼬리가 있는 독립 랜덤 행렬의 합에 대한 행렬 베르누이 부등식과 농도 경계에 기반한다.
• 핵심 구성 요소로는 $\ell_2$보다 개별 열의 편차에 더 민감한 $\ell_{2,\frown}$ 노름을 사용하여 추정 오차를 측정하는 것이다.
• 랜덤 행렬의 편향에서 꼬리 행동을 제어하기 위해 절단(truncation) 및 대칭화(symmetrization) 기법을 통합한다.
• 오차 행렬의 비대각 및 대각 성분을 차례로 제한하는 레미마를 통한 이론적 보장 도출.

실험 결과

연구 질문

• RQ1 대각 성분 제거를 적용한 스펙트럼 방법이 균형 잡히지 않은, 완전하지 않은 데이터 하에서 낮은 질서의 행렬 하위공간 추정에 대해 최적의 $\ell_{2,\frown}$ 추정 오차를 달성할 수 있는가?
• RQ2 비균형 비율 $d_2/d_1$이 고차원 설정에서 성능에 어떻게 영향을 미치는가?
• RQ3 제안된 통계적 보장이 엄밀한가? 이 문제에 대해 최소 최대 하한선과 일치하는가?
• RQ4 이 이론은 텐서 복원, 누락 데이터가 있는 공분산 추정, 이분 그래프에서의 커뮤니티 탐지와 같은 실제 문제에 적용 가능한가?
• RQ5 비균형 데이터 상황에서 개별 열의 추정 정확도를 캡처하는 데 $\ell_{2,\frown}$ 노름이 수행하는 역할은 무엇인가?

주요 결과

• 제안된 대각 성분 제거를 적용한 스펙트럼 방법은 $d_2 \gg d_1$일 때 $d_2$에 대해 유리하게 스케일링되는 $\ell_{2,\frown}$ 추정 오차 한계를 달성하며, 비균형 설정에서 이전 결과를 향상시킨다.
• $\ell_{2,\frown}$ 오차 한계는 $\tilde{O}\left(\sigma \sqrt{\frac{d_1}{n}} + B \sqrt{\frac{\log d_2}{n}} \right)$ 의 순서를 가지며, 여기서 $\sigma$는 노이즈 수준이고 $B$는 성분의 유계성이다.
• 일치하는 최소 최대 하한선을 수립하여 유도된 오차율이 로그 요소를 제외하고 통계적으로 최적임을 확인한다.
• 텐서 복원의 경우, 텐서가 극도로 비균형적인 행렬로 전개될 때, 이전 방법보다 향상된 오차 보장을 제공한다.
• 누락 데이터가 있는 공분산 추정에서, 동일한 비균형 설정 하에서 주요 하위공간 추정에 대해 최적의 $\ell_{2,\frown}$ 오차를 달성한다.
• 이론은 이분 스토케스틱 블록 모델에서 커뮤니티 복원에 적용 가능하며, 한 쪽 분할의 노드 수 대비 커뮤니티 수가 많을 경우 성능 보장이 향상된다.