[논문 리뷰] Low Rank Matrix Completion with Exponential Family Noise

Jean Lafond|arXiv (Cornell University)|2015. 02. 24.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 27

한 줄 요약

이 논문은 지수족 소음 하에서 저질서수행 행렬 완성 방법을 제안하며, 새로운 질서-구조 분해와 투영 기반 최적화를 활용한다. 특이값 노름과 정규직교 부분공간을 포함하는 핵심 항등식을 통해 이론적 보장을 수립하여, 특정 조건 하에서 행렬의 합의 노름이 그들의 노름의 합과 같음을 증명함으로써, 약한 가정 하에서도 정확한 복원을 보장한다.

ABSTRACT

The matrix completion problem consists in reconstructing a matrix from a sample of entries, possibly observed with noise. A popular class of estimator, known as nuclear norm penalized estimators, are based on minimizing the sum of a data fitting term and a nuclear norm penalization. Here, we investigate the case where the noise distribution belongs to the exponential family and is sub-exponential. Our framework alllows for a general sampling scheme. We first consider an estimator defined as the minimizer of the sum of a log-likelihood term and a nuclear norm penalization and prove an upper bound on the Frobenius prediction risk. The rate obtained improves on previous works on matrix completion for exponential family. When the sampling distribution is known, we propose another estimator and prove an oracle inequality w.r.t. the Kullback-Leibler prediction risk, which translates immediatly into an upper bound on the Frobenius prediction risk. Finally, we show that all the rates obtained are minimax optimal up to a logarithmic factor.

연구 동기 및 목표

• 비정규, 지수족 분포를 따르는 소음 하에서의 저질서수행 행렬 완성을 다루며, 기존의 정규 분포 가정을 일반화한다.
• 노이즈가 있는 관측치 하에서도 저질서수행 행렬의 정확한 복원을 보장하는 이론적 프레임워크를 개발한다.
• 특이값 노름과 정규직교 부분공간을 포함하는 새로운 항등식을 수립하여 복원 보장을 지원한다.
• 행렬들의 부분공간이 정규직교일 경우, 그 합의 핵심 노름이 각 노름의 합과 같음을 증명한다.
• 제안된 방법이 기저의 저질서수행 행렬을 정확하거나 거의 정확하게 복원할 수 있는 조건을 유도한다.

제안 방법

• 행렬 $X$ 가 생성하는 부분공간 내부와 그에 수직인 성분으로 분해하는 투영 연산자 $\mathcal{P}_X(\cdot)$ 를 사용한다.
• 행렬의 부분공간 $\mathcal{S}_i(A)$ 와 $\mathcal{S}_i(B)$ 가 각각 $i=1,2$ 에 대해 정규직교일 경우, 항등식 $\|A + B\|_{\sigma,1} = \|A\|_{\sigma,1} + \|B\|_{\sigma,1}$ 이 성립함을 적용하여 핵심 노름의 가환성을 보장한다.
• 정의된 $\mathcal{P}_X(\tilde{X}) = P_{\mathcal{S}_1(X)}\tilde{X}P_{\mathcal{S}_2^\perp(X)} + \tilde{X}P_{\mathcal{S}_2(X)}$ 는 투영의 질서를 최대 $2\operatorname{rk}(X)$ 로 제한한다.
• 핵심 노름과 프로베니우스 노름 사이의 관계를 유도하기 위해 코시-슈바르츠 부등식을 $\|A\|_{\sigma,1} \leq \sqrt{\operatorname{rk}(A)}\|A\|_{\sigma,2}$ 의 형태로 활용한다.
• 핵심 항등식인 $\|X + \mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1} = \|X\|_{\sigma,1} + \|\mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1}$ 을 유도하며, 이는 복원 보장을 뒷받침한다.
• 투영 분해를 통해 노이즈가 가해진 행렬의 핵심 노름이 정규직교 성분 간에 가환적임을 보여주어 정확한 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소음이 정규분포가 아닌 지수족 분포를 따를 경우, 저질서수행 행렬 완성은 신뢰성 있게 수행될 수 있는가?
• RQ2 두 행렬의 핵심 노름의 합이 그들의 합의 핵심 노름과 같아지는 조건은 무엇인가?
• RQ3 행렬 분해에서 정규직교 부분공간의 구조는 어떻게 활용되어 정확한 복원을 보장할 수 있는가?
• RQ4 노이즈 하에서 저질서수행 구조를 유지하는 데에 투영 연산자 $\mathcal{P}_X(\cdot)$ 는 어떤 역할을 하는가?
• RQ5 코시-슈바르츠 부등식은 핵심 노름을 유도하여 복원 보장을 뒷받침할 수 있는 방식으로 사용될 수 있는가?

주요 결과

• 행렬의 행 및 열 부분공간이 정규직교일 경우, 핵심 노름은 가환적이다: $\|A + B\|_{\sigma,1} = \|A\|_{\sigma,1} + \|B\|_{\sigma,1}$ 이며, $i=1,2$ 에 대해 $\mathcal{S}_i(A) \perp \mathcal{S}_i(B)$ 를 만족할 때 성립한다.
• 투영 $\mathcal{P}_X(\tilde{X})$ 는 $\operatorname{rk}(\mathcal{P}_X(\tilde{X})) \leq 2\operatorname{rk}(X)$ 를 만족하여 저질서수행 구조를 유지한다.
• 부분공간의 정규직교성 덕분에 항등식 $\|X + \mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1} = \|X\|_{\sigma,1} + \|\mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1}$ 이 성립한다.
• 코시-슈바르츠 부등식은 $\|A\|_{\sigma,1} \leq \sqrt{\operatorname{rk}(A)}\|A\|_{\sigma,2}$ 를 유도하며, 분석에서 노름 비교를 지원한다.
• 이론적 프레임워크는 부분공간 정규직교성과 노름 가환성 조건이 충족될 경우, 주어진 노이즈 모델 하에서 저질서수행 행렬의 정확한 복원을 보장한다.
• 부분공간 구조와 노름 가환성을 활용함으로써, 이 방법은 정규분포 가정을 초월해 지수족 소음으로 일반화된다.