[논문 리뷰] Asymptotic Theory for Estimating the Singular Vectors and Values of a Partially-observed Low Rank Matrix with Noise

Juhee Cho, Donggyu Kim외 1명|arXiv (Cornell University)|2015. 08. 21.

Sparse and Compressive Sensing Techniques참고 문헌 2인용 수 8

한 줄 요약

이 논문은 누락된 항목과 i.i.d. 노이즈가 첨가된 낮은 질서의 행렬에 대해 편향 보정 추정기법을 제안한다. 부분 관측 상태임에도 불구하고, 이 추정기법은 완전히 관측된 경우와 동일한 수렴 속도를 달성하며, Koltchinskii 등(2011a)에서 유도한 최소화계 위험 하한선을 충족하는 일단계 일致한 행렬 추정기법을 제공한다.

ABSTRACT

Matrix completion algorithms recover a low rank matrix from a small fraction of the entries, each entry contaminated with additive errors. In practice, the singular vectors and singular values of the low rank matrix play a pivotal role for statistical analyses and inferences. This paper proposes estimators of these quantities and studies their asymptotic behavior. Under the setting where the dimensions of the matrix increase to infinity and the probability of observing each entry is identical, Theorem 4.1 gives the rate of convergence for the estimated singular vectors; Theorem 4.3 gives a multivariate central limit theorem for the estimated singular values. Even though the estimators use only a partially observed matrix, they achieve the same rates of convergence as the fully observed case. These estimators combine to form a consistent estimator of the full low rank matrix that is computed with a non-iterative algorithm. In the cases studied in this paper, this estimator achieves the minimax lower bound in Koltchinskii et al. (2011). The numerical experiments corroborate our theoretical results.

연구 동기 및 목표

• 관측된 항목의 일부만 존재하고 노이즈에 의해 훼손된 경우, 낮은 질서의 행렬의 특이벡터와 특이값에 대해 통계적으로 타당한 추정기법을 개발하는 것.
• 관측되지 않은 항목을 0으로 채운 부분 관측 행렬에 표준 SVD를 적용할 때 발생하는 편향을 다루며, 이는 특이벡터와 특이값 추정치를 왜곡시킨다.
• 행렬 차원이 증가하는 조건 하에서 추정된 특이값의 점근적 분포와 특이벡터 추정치의 수렴 속도를 규명하는 것.
• 반복적인 SVD나 고유분해를 피하는 비반복적, 일단계 추정기법을 통해 전체 낮은 질서의 행렬을 추정하며, 이는 최소화계 최적의 평균 제곱오차를 달성한다.

제안 방법

• 관측된 항목 확률과 노이즈 분산을 고려해 유도된 보정항을 사용하여, 0으로 채운 행렬에 대한 난이한 SVD에서 유도된 특이벡터에 대한 편향 보정 추정기법을 제안한다.
• 행렬 차원 $ n, d \to \infty $ 이며 관측 확률 $ p $ 가 일정하다는 가정 하에, 편향 보정 특이벡터 추정기법의 수렴 속도를 유도한다.
• 편향 보정 특이값에 대해 다변량 중심극한정리(central limit theorem)를 확립하며, 고차원 설정 하에서 점근적 정규성을 보여준다.
• 편향 보정 특이벡터와 특이값을 조합하여 반복적인 SVD나 고유분해 없이 전체 행렬 $ \hat{M}(s_0) $ 에 대한 일단계 추정기법을 구성한다.
• 추정 오차를 측정하기 위해 프로베니우스 노름(Frobenius norm)을 사용하며, 결과적으로 유도된 행렬 추정기법이 Koltchinskii 등(2011a)에서 유도한 최소화계 하한선을 충족함을 증명한다.
• 스펙트럼 노름을 제어하기 위해 무작위 행렬 이론의 도구를 활용하며, Weyl의 정리와 농도 불등식(concentration inequalities)을 적용한다.

실험 결과

연구 질문

• RQ1 관측된 항목의 일부만 존재하고 각 항목이 i.i.d. 노이즈에 의해 훼손된 경우, 낮은 질서의 행렬의 특이벡터와 특이값에 대해 일致한 추정기법을 구성할 수 있는가?
• RQ2 부분 관측 조건 하에서 특이벡터 추정기법의 수렴 속도는 어떻게 되며, 완전 관측 경우와 상수 배수 이내로 일致하는가?
• RQ3 고차원 점근적 설정 하에서 추정된 특이값의 분포는 다변량 정규분포로 수렴하는가?
• RQ4 추정된 특이벡터와 특이값을 사용하여 비반복적, 일단계 행렬 추정기법을 구성할 수 있으며, 이는 최소화계 최적의 평균 제곱오차를 달성하는가?
• RQ5 관측되지 않은 항목을 0으로 채우는 과정에서 발생하는 편향은 특이벡터와 특이값 추정치에 어떤 영향을 미치며, 효과적으로 보정할 수 있는가?

주요 결과

• 편향 보정 특이벡터 추정기법은 수렴 속도가 $ O_p\left(\frac{1}{\sqrt{p}} + \frac{1}{p}\sqrt{\frac{d}{n}}\right) $ 로서, $ p $ 에 따라 달라지는 상수 요인을 제외하고는 완전 관측 경우와 동일한 속도를 달성한다.
• 추정된 특이값은 다변량 중심극한정리에 따라 만족하며, 고차원 설정 하에서 점근적 정규성을 확보한다.
• 편향 보정 특이벡터와 특이값을 기반으로 구성된 일단계 행렬 추정기법 $ \hat{M}(s_0) $ 는 Koltchinskii 등(2011a)에서 유도한 최소화계 하한선을 충족한다.
• 전체 행렬 추정기법의 프로베니우스 노름 오차는 $ \frac{1}{p b_r^4} O_p(n) $ 로 표현되며, 이는 관측 확률 $ p $ 가 감소할수록 추정 정확도가 떨어지지만, 상수 배수 이내로 최적임을 보여준다.
• 수치 실험을 통해 이론적 수렴 속도와 특이값 추정기법의 점근적 정규성을 확인하였다.
• 0으로 채운 행렬에 대한 난이한 SVD에서 발생하는 편향은 무시할 수 없으며, 제안된 보정 메커니즘을 통해 체계적으로 보정 가능함을 입증하였다.