[논문 리뷰] Advancing Matrix Completion by Modeling Extra Structures beyond Low-Rankness

Guangcan Liu, Ping Li|arXiv (Cornell University)|2014. 04. 17.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 사전 정의된 사전을 통해 구조적 희박성(structured sparsity)을 통합함으로써 전통적인 저질서 복원을 향상시키는 행렬 완성 방법인 저질서 인수분해(Low-Rank Factor Decomposition, LRFD)를 제안한다. 데이터를 사전 원소들의 선형 조합으로 모델링함으로써, 비균일한 데이터 분포에서의 높은 공명도(coherence)에 대한 민감도를 감소시켜, 기존의 핵노름 최소화가 실패하는 경우에도 정확한 복원을 가능하게 한다.

ABSTRACT

A well-known method for completing low-rank matrices based on convex optimization has been established by Cand{è}s and Recht. Although theoretically complete, the method may not entirely solve the low-rank matrix completion problem. This is because the method captures only the low-rankness property which gives merely a rough constraint that the data points locate on some low-dimensional subspace, but generally ignores the extra structures which specify in more detail how the data points locate on the subspace. Whenever the geometric distribution of the data points is not uniform, the coherence parameters of data might be large and, accordingly, the method might fail even if the latent matrix we want to recover is fairly low-rank. To better handle non-uniform data, in this paper we propose a method termed Low-Rank Factor Decomposition (LRFD), which imposes an additional restriction that the data points must be represented as linear combinations of the bases in a dictionary constructed or learnt in advance. We show that LRFD can well handle non-uniform data, provided that the dictionary is configured properly: We mathematically prove that if the dictionary itself is low-rank then LRFD is immune to the coherence parameters which might be large on non-uniform data. This provides an elementary principle for learning the dictionary in LRFD and, naturally, leads to a practical algorithm for advancing matrix completion. Extensive experiments on randomly generated matrices and motion datasets show encouraging results.

연구 동기 및 목표

• 비균일한 분포를 보이는 데이터에서 핵노름 최소화의 한계를 해결하기 위해.
• 높은 공명도 파rameter로 인해 표준 볼록 최적화(CONO)가 실패하는 비균일한 데이터에서의 문제를 해결하기 위해.
• 데이터 기하학에 대한 사전 지식을 사전을 통해 활용하는 구조적 행렬 완성 프레임워크를 개발하기 위해.
• 사전이 저질서일 경우에 한하여, 높은 공명도가 존재하더라도 정확한 복원이 가능할 수 있는 이론적 조건을 확립하기 위해.
• 실세계 데이터에서 복잡한 기하학적 구조를 띠는 경우 기존 방법보다 뛰어난 성능을 보이는 실용적인 행렬 완성 알고리즘을 제공하기 위해.

제안 방법

• 주어진 사전의 원소들로부터의 선형 조합으로 데이터 포인트를 표현하도록 제약을 두는 볼록 최적화 모델인 저질서 인수분해(LRFD)를 제안한다.
• 관측된 요소들에 대한 데이터 일致성 조건을 만족시키면서 인수행렬의 핵노름을 최소화하는 최적화 문제로 공식화한다.
• 핵심 이론적 조건 도입: 사전이 저질서일 경우, LRFD는 데이터의 높은 공명도에 대해 강건하다.
• 직교 투영과 스펙트럼 분석을 사용하여 LRFD 문제의 최적 해가 유일하고 진짜 저질서 행렬을 복원함을 증명한다.
• 사전의 구조를 활용하여 해 공간을 제약함으로써, 비균일한 데이터 분포가 복원 성능에 미치는 영향을 감소시킨다.
• 스펙트럼 노름과 투영 연산자를 사용하여 재구성 오차의 경계를 유도하며, 샘플링 비율 증가와 유리한 사전 구조에 따라 오차가 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 비균일한 데이터 분포에서 저질서성 외의 기하학적 구조를 모델링함으로써 행렬 완성을 향상시킬 수 있는가?
• RQ2 표준 핵노름 최소화가 실패하는 상황에서, 구조적 사전을 사용할 경우 어떤 조건에서 정확한 복원이 가능할 수 있는가?
• RQ3 사전의 저질서 성질이 데이터의 높은 공명도에 대한 행렬 완성의 강건성에 어떤 영향을 미치는가?
• RQ4 사전 기반 인수분해를 통합한 볼록 최적화 프레임워크가 표준 핵노름 최소화보다 더 나은 복원 성능을 달성할 수 있는가?
• RQ5 제안된 LRFD 프레임워크에서 해의 유일성과 정확한 복원에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 사전이 저질서일 경우, 데이터의 공명도 파rameter가 크더라도 LRFD는 정확한 행렬 복원을 달성한다.
• 이론적 분석을 통해 관측되지 않은 인덱스 집합과 사전의 행공간의 교차가 자명한 경우에 한하여, LRFD 문제의 최적 해가 유일함을 증명한다.
• LRFD의 재구성 오차는 $ \frac{2\epsilon}{\delta} $ 이하로 경계지어지며, 여기서 $ \epsilon $은 노이즈 수준이고 $ \delta $는 샘플링 비율과 관련된 스펙트럼 파rameter이다.
• 합성 데이터 및 동작 데이터셋에 대한 실험 결과, 비균일한 데이터에서 표준 핵노름 최소화보다 LRFD가 뚜렷이 뛰어난 성능을 보이며, 특히 다중 부분공간 또는 다각형 다양체 위에 존재하는 데이터에서 두각을 나타낸다.
• 사전에 포함된 구조적 사전 지식 덕분에, 표준 행렬 완성에서 주로 실패하는 높은 공명도 상황에서도 강건함을 입증한다.
• 이론적 경계를 통해 샘플링 비율이 $ \rho_0 \geq 2\delta $ 를 만족할 경우, 높은 확률로 정확한 복원이 가능하다는 것을 확인한다. 여기서 $ \delta $는 투영 연산자의 스펙트럼 감쇠를 제어하는 파rameter이다.