[논문 리뷰] Low-Rank Matrix Completion with Adversarial Missing Entries.

Tselil Schramm, Benjamin Weitz|arXiv (Cornell University)|2015. 06. 09.

Tensor decomposition and applications참고 문헌 2인용 수 5

한 줄 요약

이 논문은 상수 랭크 n×n 행렬에서 적대적 분포를 가진 누락된 항목에 대해 정확한 복구 보장을 수립한다. 핵노름 최소화가 행과 열당 최대 Ω(n)개의 항목이 누락된 경우에도 행렬을 정확히 복구함을 보여준다. 또한 혼합된 곱 분포를 학습하기 위한 텐서 복구 알고리즘을 개발하여, 선형 독립인 중심이 Ω(n)개일 경우 다항시간 복구를 달성하고 일반적인 경우에 준다. 다항시간 복구를 달성한다.

ABSTRACT

We show that, so long as the number of missing entries in any row or column is bounded by a function of the dimension, rank, and incoherence of the matrix, nuclear norm minimization recovers the target matrix exactly. The range for which this guarantee holds is surprisingly large--in an $n imes n$ matrix of constant rank, there may be as many as $\Omega(n)$ entries missing in every row and column. Conversely, if only constantly many entries are missing in any row or column, then we may recover matrices of rank $\Omega(n)$. We also use adversarial matrix completion to give an algorithm for completing an order-$m$ symmetric low-rank tensor from its multilinear entries in time roughly proportional to the number of tensor entries. We apply our tensor completion algorithm to the problem of learning mixtures of product distributions over the hypercube, obtaining new algorithmic results. If the centers of the product distribution are linearly independent, then we recover distributions with as many as $\Omega(n)$ centers in polynomial time and sample complexity. In the general case, we recover distributions with as many as $ ilde\Omega(n)$ centers in quasi-polynomial time, answering an open problem of Feldman et al. (SIAM J. Comp.) for the special case of distributions with incoherent bias vectors.

연구 동기 및 목표

• 누락된 항목이 적대적으로 분포된 경우 저랭크 행렬 복구에 대한 이론적 복구 보장을 수립하기 위해.
• 핵노름 최소화를 통한 정확한 복구를 가능하게 하는 행과 열당 최대 누락 항목 수를 분석하기 위해.
• 저랭크 텐서 복구 기법을 대칭 저랭크 텐서 복구로 확장하여 곱 분포의 혼합을 학습하기 위해.
• Feldman 등이 제기한 열린 문제를 해결하기 위해, 비일관 조건 하에서 곱 분포를 다항시간에 학습할 수 있는 알고리즘을 제공하기 위해.

제안 방법

• 논문은 핵노름 최소화를 핵심 복구 방법으로 사용하여, 제한된 적대적 누락 항목이 존재하는 저랭크 행렬이 정확히 복구됨을 보여준다.
• 매트릭스 차원, 랭크 및 비일관성 파라미터에 기반하여 행과 열당 누락 항목 수에 대한 경계를 수립한다.
• 매트릭스의 비일관성과 랭크 제약 조건을 활용하여 핵노름 최소화 문제가 유일한 저랭크 해를 가지도록 보장한다.
• 텐서 복구의 경우, 다중선형 구조와 대칭성을 활용하여 문제를 행렬 복구로 환원한다.
• 텐서 복구 알고리즘은 초입방체 위에서 곱 분포의 혼합을 학습하기 위해 적용된다.
• 구조적 샘플링과 저랭크 가정을 사용하여 다항시간 또는 준다항시간 내에 효율적인 복구를 달성한다.

실험 결과

연구 질문

• RQ1 핵노름 최소화를 통한 저랭크 행렬의 정확한 복구를 가능하게 하는 적대적으로 배치된 누락 항목의 행과 열당 최대 수는 얼마인가?
• RQ2 다중선형 항목만 관측 가능한 경우 텐서 복구가 효율적으로 수행될 수 있는가, 그리고 이는 곱 분포 학습과 어떻게 관련되는가?
• RQ3 행렬의 중심이 Ω(n)개이고 선형 독립일 경우, 어떤 조건에서 다항시간에 혼합된 곱 분포를 학습할 수 있는가?
• RQ4 이 방법은 Feldman 등이 제기한 비일관 곱 분포 학습에 대한 열린 문제를 해결하는가?

주요 결과

• 상수 랭크인 n×n 행렬의 경우, 핵노름 최소화는 행과 열당 Ω(n)개의 항목이 누락된 경우에도 정확히 행렬을 복구한다.
• 행과 열당 상수 수준의 항목만 누락된 경우, 랭크가 Ω(n)인 행렬도 정확히 복구할 수 있다.
• 텐서 복구 알고리즘은 텐서 항목 수에 비례하는 시간 복잡도를 가지며, 이는 구조적 분포의 효율적 학습을 가능하게 한다.
• 선형 독립 중심이 Ω(n)개인 곱 분포의 혼합의 경우, 다항시간 및 샘플 복잡도로 분포를 복구할 수 있다.
• 일반적인 경우 비일관성 벡터가 존재할 때, 이 방법은 준다항시간 내에 복구를 달성하여 Feldman 등의 이론적 열린 문제를 이 특수 케이스에서 해결한다.