[논문 리뷰] Algebraic Variety Models for High-Rank Matrix Completion

Greg Ongie, Rebecca Willett외 2명|arXiv (Cornell University)|2017. 03. 28.

Tensor decomposition and applications인용 수 32

한 줄 요약

이 논문은 고랭크 데이터가 대수다양체 위에 존재한다고 모델링하는 새로운 행렬 완성 프레임워크를 제안한다. 다항식 특징 상승을 통해 저랭크 표현을 가능하게 하며, 커널 기법을 사용한 볼록 또는 비볼록 최적화 방법을 통해 실세계 고랭크 데이터셋(운동 캡처 및 부분공간 군집화 작업 포함)에서 최신 기술 수준의 성능을 달성한다. 기존의 저랭크 행렬 완성 및 부분공간 군집화 기법보다 뛰어난 성능을 보인다.

ABSTRACT

We consider a generalization of low-rank matrix completion to the case where the data belongs to an algebraic variety, i.e. each data point is a solution to a system of polynomial equations. In this case the original matrix is possibly high-rank, but it becomes low-rank after mapping each column to a higher dimensional space of monomial features. Many well-studied extensions of linear models, including affine subspaces and their union, can be described by a variety model. In addition, varieties can be used to model a richer class of nonlinear quadratic and higher degree curves and surfaces. We study the sampling requirements for matrix completion under a variety model with a focus on a union of affine subspaces. We also propose an efficient matrix completion algorithm that minimizes a convex or non-convex surrogate of the rank of the matrix of monomial features. Our algorithm uses the well-known "kernel trick" to avoid working directly with the high-dimensional monomial matrix. We show the proposed algorithm is able to recover synthetically generated data up to the predicted sampling complexity bounds. The proposed algorithm also outperforms standard low rank matrix completion and subspace clustering techniques in experiments with real data.

연구 동기 및 목표

• 고랭크 데이터를 대수다양체 위에 존재한다고 모델링하여 저랭크 행렬 완성 기법을 일반화한다.
• 데이터가 약한 부분공간의 합집합 또는 다른 대수다양체 위에 존재할 경우, 행렬 완성에 필요한 샘플링 복잡도를 규명한다.
• 고차원 특징를 명시적으로 계산하지 않고도 상승된 단항식 특징 공간에서의 저랭크 구조를 활용하는 효율적인 행렬 완성 알고리즘을 개발한다.
• 실세계 고랭크 데이터셋에서 제안된 방법이 기존의 저랭크 행렬 완성 및 부분공간 군집화 기법보다 뛰어난 성능을 보임을 입증한다.
• 특히 부분공간의 합집합에 대해, 복원에 필요한 샘플 수에 대한 이론적 경계를 제공한다.

제안 방법

• 각 데이터 포인트를 최대 $ d $ 차수의 단항식으로 구성된 고차원 공간으로 매핑함으로써, 원래의 고랭크 행렬을 상승된 행렬 $ \text{rank}(\text{rank}(\bm{\tilde{X}})) $ 로 변환한다. 이때 데이터가 대수다양체 위에 존재하면 상승된 행렬은 저랭크가 된다.
• 행렬 완성 문제를 관측된 요소들을 만족시키는 조건 하에 상승된 행렬 $ \text{rank}(\bm{\tilde{X}}) $ 의 랭크를 최소화하는 것으로 설정하며, 랭크 최소화를 위한 볼록 또는 비볼록 대체 함수를 사용한다.
• 반복 가중 최소 제곱법(IRLS) 알고리즘을 사용하여 최적화 문제를 해결하며, 커널 기법을 통해 고차원 단항식 특징를 명시적으로 계산하지 않도록 한다.
• 다항식 커널을 사용하여 상승된 공간 내의 내적을 암묵적으로 계산함으로써, 명시적 특징 매핑 없이도 효율적인 계산을 가능하게 한다.
• 합성 데이터와 실세계 데이터셋(하프킨스 155 운동 데이터셋 및 CMU Mocap 운동 캡처 데이터 포함)을 조합하여 방법을 평가한다.
• 표준 저랭크 행렬 완성(LRMC), 비볼록 저랭크 최적화(LRMC-NCVX), 그리고 보정 여부에 따라 부분공간 군집화(SSC)와 성능을 비교한다.

실험 결과

연구 질문

• RQ1 컬럼이 대수다양체 위에 존재하는 행렬을 복원하기 위해 필요한 샘플링 복잡도는 무엇인가? 특히 약한 부분공간의 합집합의 경우이다.
• RQ2 상승된 행렬 $ \text{rank}(\bm{\tilde{X}}) $ 의 랭크는 단항식 특징의 차수 $ d $ 와 기저가 되는 다양체의 구조와 어떻게 관련이 있는가?
• RQ3 볼록 또는 비볼록 최적화 프레임워크가 상승된 다항식 특징 공간에서 저랭크인 고랭크 행렬을 효과적으로 복원할 수 있는가?
• RQ4 제안된 방법은 실세계 고랭크 데이터셋에서 기존의 저랭크 행렬 완성 및 부분공간 군집화 기법과 비교해 복원 정확도와 결측 데이터에 대한 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 다항식 차수 $ d $ 는 특히 다양한 결측 데이터 비율에서 완성 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 VMC 알고리즘은 이론 분석에서 예측한 샘플링 복잡도 경계까지 합성 데이터를 성공적으로 복원하여 이론 분석의 타당성을 검증한다.
• 차원 $ r $ 의 $ k $ 개의 약한 부분공간의 합집합일 경우, 각 컬럼에 대해 $ O(rk^{1/d}) $ 측정값이 필요하며, 부분공간당 $ O(r^d) $ 개의 컬럼이 확보된 경우, 중간 정도의 $ d $ 에서 샘플링 요구량이 크게 감소함을 시사한다.
• $ d = \text{log}~k $ 일 경우, 각 컬럼에 대해 오직 $ O(r) $ 측정값만 필요하며, 이는 고차원 환경에서도 효율적인 복원을 가능하게 한다.
• 하프킨스 155 데이터셋에서 VMC+SSC는 낮은 결측 비율에서는 LRMC+SSC와 유사하거나 낮은 군집 오차를 기록했고, 높은 결측 비율에서는 SSC-EWZF를 크게 능가했다.
• CMU Mocap 데이터셋에서 $ d=2 $ 와 $ d=3 $ 인 VMC는 LRMC와 LRMC-NCVX를 모두 능가했으며, 특히 높은 결측 비율에서 $ d=2 $ 가 더 낮은 오차를 기록했다.
• 다항식 커널을 사용한 IRLS 기반 알고리즘이 실세계 고랭크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 강건성과 확장성 모두를 입증했다.