[논문 리뷰] Nuclear norm penalization and optimal rates for noisy low rank matrix completion

Vladimir Koltchinskii, Alexandre B. Tsybakov외 1명|arXiv (Cornell University)|2010. 11. 29.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 637

한 줄 요약

이 논문은 노이즈가 있는 관측 조건 하에서 낮은 질서의 행렬 완성 문제에 대해 핵노름 정규화 추정량을 제안하며, 기대값에 대한 등장성 조건 하에서 날카운 오라클 부등식을 수립한다. 이는 고차원 설정에서 $ m_1m_2 \gg n $ 일지라도 로그 요소를 제외한 최적 수렴 속도를 달성하며, 높은 확률로 정확한 질서 복원을 보여준다.

ABSTRACT

This paper deals with the trace regression model where $n$ entries or linear combinations of entries of an unknown $m_1\ imes m_2$ matrix $A_0$ corrupted by noise are observed. We propose a new nuclear norm penalized estimator of $A_0$ and establish a general sharp oracle inequality for this estimator for arbitrary values of $n,m_1,m_2$ under the condition of isometry in expectation. Then this method is applied to the matrix completion problem. In this case, the estimator admits a simple explicit form and we prove that it satisfies oracle inequalities with faster rates of convergence than in the previous works. They are valid, in particular, in the high-dimensional setting $m_1m_2\\gg n$. We show that the obtained rates are optimal up to logarithmic factors in a minimax sense and also derive, for any fixed matrix $A_0$, a non-minimax lower bound on the rate of convergence of our estimator, which coincides with the upper bound up to a constant factor. Finally, we show that our procedure provides an exact recovery of the rank of $A_0$ with probability close to 1. We also discuss the statistical learning setting where there is no underlying model determined by $A_0$ and the aim is to find the best trace regression model approximating the data.

연구 동기 및 목표

• 고차원 설정에서 $ m_1m_2 \gg n $ 인 경우에 노이즈가 있는 불완전한 관측치로부터 낮은 질서의 행렬을 추정하는 문제에 대처한다.
• 노이즈가 있는 낮은 질서 행렬 완성 문제에서 최적 수렴 속도를 달성하는 핵노름 정규화 추정량을 개발한다.
• 기대값에 대한 일반적인 등장성 조건 하에서 추정량에 대해 날카운 오라클 부등식을 수립한다.
• 추정량이 높은 확률로 기저 행렬의 진짜 질서를 복원함을 증명한다.
• 기본 모델이 가정되지 않은 통계학적 학습 설정으로 분석를 확장하고, 제한된 고유값 조건 하에서 라소 추정량에 대한 오라클 부등식을 유도한다.

제안 방법

• 랜덤 설계 행렬을 가진 추적 회귀 모델에 대해 핵노름으로 정규화된 손실 함수를 최소화하는 핵노름 정규화 추정량을 제안한다.
• 설계 행렬이 기대값에 대해 등장성 조건을 만족할 경우, 즉 $ \|A\|_{L_2(\Pi)}^2 \approx \|A\|_2^2 $ 일 때, 추정량에 대해 일반적인 날카운 오라클 부등식을 유도한다.
• 일반 결과를 균일 무작위 샘플링(USR) 조건 하의 행렬 완성 모델로 특수화하며, 이 경우 설계 행렬이 정규직교 기저를 이룬다.
• 비가환 베르누이 부등식을 적용하여 경험 과정의 편차를 제어하고, 추정 오차에 대한 고확률 경계를 확보한다.
• 추정 오차의 두 항 분해를 사용한다: 하나는 노이즈에 의한 항이고, 다른 하나는 추적 회귀 모델에 기인한 편향에 기인한 항이다.
• 노이즈의 체계적 초과 및 체계적 과도한 尾 꼬리 가정 하에 경험 과정의 연산자 노름에 대한 경계를 수립한다.

실험 결과

연구 질문

• RQ1 핵노름 정규화 추정량은 고차원 설정에서 노이즈가 있는 낮은 질서 행렬 완성 문제에 대해 최적 수렴 속도를 달성할 수 있는가?
• RQ2 핵노름 추정량의 정확한 수렴 속도는 무엇이며, 이는 이전 결과와 어떻게 비교되는가?
• RQ3 어떤 조건 하에서 추정량이 높은 확률로 기저 행렬의 진짜 질서를 복원하는가?
• RQ4 기대값에 대한 등장성 조건 하에서 핵노름 추정량에 대해 날카운 오라클 부등식을 수립할 수 있는가?
• RQ5 제한된 고유값 조건은 표준 라소 추정량이 벡터 회귀에서 날카운 오라클 부등식을 만족하는가?

주요 결과

• 핵노름 정규화 추정량은 노이즈가 있는 낮은 질서 행렬 완성 문제에서 최소화 기준에 대해 로그 요소를 제외한 최적 수렴 속도를 달성한다.
• 추정량은 주도 상수 1을 가진 날카운 오라클 부등식을 만족하여 이전 결과보다 더 빠른 수렴 속도를 향상시킨다.
• 고차원 설정인 $ m_1m_2 \gg n $ 인 경우에도 추정량은 낮은 질서 행렬일지라도 빠른 수렴 속도를 유지한다.
• 노이즈와 설계에 대한 온건한 조건 하에서 추정량은 $ A_0 $의 진짜 질서를 확률이 1에 수렴하는 방식으로 복원한다.
• 체계적 초과 노이즈의 경우, 추정량의 오차 경계는 $ \sigma \max\left\{ \sqrt{\frac{t + \log m}{(m_1 \wedge m_2)n}}, \frac{(t + \log m)\log^{1/\alpha}(m_1 \wedge m_2)}{n} \right\} $ 로 표현되며, 로그 요소를 제외한 최적 속도와 일치한다.
• 제한된 고유값 조건 하에서 표준 라소 추정량은 주도 상수 1을 가진 날카운 오라클 부등식을 만족하며, 이는 부산물로 도출된 결과이다.