[논문 리뷰] Provable Inductive Matrix Completion

Prateek Jain, Inderjit S. Dhillon|arXiv (Cornell University)|2013. 06. 04.

Sparse and Compressive Sensing Techniques참고 문헌 9인용 수 124

한 줄 요약

이 논문은 랭크-1 측정값을 사용한 저랭크 행렬 추정 및 인덕티브 매트릭스 완성 문제를 위한 증명 가능하게 수렴하는 교대 최소화 방법을 제안한다. 특징 벡터에 대한 약한 조건 하에서, 교대 최소화가 전역 최적해로 선형 수렴함을 입증하며, RIP 기반 방법에 비해 계산 및 저장 비용을 크게 감소시킨다. 매트릭스 센싱, 인덕티브 매트릭스 완성, 누락된 레이블이 있는 다중 레이블 회귀 문제에 대해 이론적 보장을 제공한다.

ABSTRACT

Consider a movie recommendation system where apart from the ratings information, side information such as user's age or movie's genre is also available. Unlike standard matrix completion, in this setting one should be able to predict inductively on new users/movies. In this paper, we study the problem of inductive matrix completion in the exact recovery setting. That is, we assume that the ratings matrix is generated by applying feature vectors to a low-rank matrix and the goal is to recover back the underlying matrix. Furthermore, we generalize the problem to that of low-rank matrix estimation using rank-1 measurements. We study this generic problem and provide conditions that the set of measurements should satisfy so that the alternating minimization method (which otherwise is a non-convex method with no convergence guarantees) is able to recover back the {\em exact} underlying low-rank matrix. In addition to inductive matrix completion, we show that two other low-rank estimation problems can be studied in our framework: a) general low-rank matrix sensing using rank-1 measurements, and b) multi-label regression with missing labels. For both the problems, we provide novel and interesting bounds on the number of measurements required by alternating minimization to provably converges to the {\em exact} low-rank matrix. In particular, our analysis for the general low rank matrix sensing problem significantly improves the required storage and computational cost than that required by the RIP-based matrix sensing methods \cite{RechtFP2007}. Finally, we provide empirical validation of our approach and demonstrate that alternating minimization is able to recover the true matrix for the above mentioned problems using a small number of measurements.

연구 동기 및 목표

• 기본 매트릭스 완성의 한계를 해결하기 위해, 새로운 사용자나 아이템으로의 일반화가 불가능한 점을 개선하기 위해 보조 정보(특징 벡터)를 통합하여 인덕티브 예측을 수행한다.
• 인덕티브 매트릭스 완성, 일반 매트릭스 센싱, 누락된 레이블이 있는 다중 레이블 회귀를 포괄하는 통합 프레임워크인 '저랭크 행렬 추정을 위한 랭크-1 측정값(LRROM)'을 체계화한다.
• 측정 연산자에 대한 약한 조건 하에서, LRROM 환경에서 교대 최소화의 이론적 보장을 제공하며, 전역 최적해로의 선형 수렴을 입증한다.
• 제안된 방법이 RIP 기반 방법과 비교해 유사하거나 더 높은 복구 정확도를 달성하면서도 저장 및 계산 비용을 크게 줄임을 보여준다.

제안 방법

• 사용자 및 아이템 특징 벡터 $\bm{x}_i, \bm{y}_j$를 고려해, 측정값 $\bm{b}_i = \bm{x}_i^T W_* \bm{y}_j$ 로부터 저랭크 행렬 $W_*$ 를 복원하는 인덕티브 매트릭스 완성 문제를 수립한다.
• 측정 연산자가 $W_*$ 를 랭크-1 내적의 벡터로 매핑하는 일반적인 LRROM 프레임워크를 도입하여, 다양한 저랭크 추정 문제에 대한 통합적 접근을 가능하게 한다.
• 스펙트럼 초기화를 통한 교대 최소화를 제안하며, 측정 연산자의 세 가지 핵심 성질(비일관성, 유한한 분산, 측도 집중)을 만족할 경우 선형 수렴을 증명한다.
• 정확한 복구를 위해 필요한 측정 수의 이론적 한계를 설정하며, $m = \Omega(k^4 \beta^2 (d_1 + d_2) \log(d_1 + d_2))$ 가 정규 분포 특징 벡터의 경우 충분함을 보여준다. 여기서 $\beta$ 는 $W_*$ 의 조건수이다.
• 임의의 행렬 이론 및 행렬 농도 부등식(예: 행렬 체르노프 부등식)을 사용해 측정 연산자의 행동을 분석하고 수렴 보장을 입증한다.
• 일반 분석을 세 가지 구체적 문제에 적용한다: (1) 정규 분포 매트릭스 센싱, (2) 균일하게 샘플링된 요소를 가진 인덕티브 매트릭스 완성, (3) 누락된 레이블이 있는 다중 레이블 회귀이며, 모두 요구 조건을 만족함을 보여준다.

실험 결과

연구 질문

• RQ1 측정 연산자에 대한 약한 조건 하에서, 보조 정보가 있는 인덕티브 매트릭스 완성에서 교대 최소화가 전역 최적해로 증명 가능하게 수렴할 수 있는가?
• RQ2 특징 벡터와 측정 연산자에 대해 어떤 조건이 저랭크 행렬 추정에서 교대 최소화의 선형 수렴을 보장하는가?
• RQ3 LRROM 프레임워크에서 정확한 복구를 위해 필요한 측정 수의 척도는 어떻게 되며, 특히 RIP 기반 방법과 비교해 어떻게 변화하는가?
• RQ4 제안된 프레임워크는 기존의 저랭크 추정 문제들인 매트릭스 센싱 및 다중 레이블 회귀를 통합하고 일반화할 수 있는가?
• RQ5 랭크-1 측정값과 RIP 기반 측정값을 비교했을 때, 복구 정확도와 계산 효율성 사이의 상충 관계는 어떻게 되는가?

주요 결과

• 정규 분포 랭크-1 측정값의 경우, $m = \Omega(k^4 \beta^2 (d_1 + d_2) \log(d_1 + d_2))$ 측정값이 사용될 때, 진짜 저랭크 행렬 $W_*$ 는 높은 확률로 복원된다.
• 제안된 방법은 RIP 기반 매트릭스 센싱과 유사하거나 더 높은 복구 정확도를 달성하지만, 실행 시간이 두 배수 정도 감소하여 훨씬 더 효율적이다.
• 균일하게 샘플링된 요소를 가진 인덕티브 매트릭스 완성에서, 낮은 테스트 오차를 보이며 소수의 관측값으로도 기저 행렬을 정확히 복원한다.
• 누락된 레이블이 있는 다중 레이블 회귀 문제에서, $L=50$ 개의 레이블과 낮은 특징 차원 $d$ 조건에서도 낮은 테스트 오차를 유지하며, $k$ 나 $d$ 가 증가함에 따라 오차가 점진적으로 악화된다.
• 이론적 분석을 통해 측정 연산자가 약한 가정 하에 필요한 집중 및 비일관성 성질을 만족함을 확인했으며, 이는 교대 최소화의 선형 수렴을 가능하게 한다.
• 특히 대규모 환경에서 저장 및 계산 비용을 줄여 기존의 RIP 기반 방법보다 개선된 성능을 보인다.