[논문 리뷰] On the Power of Adaptivity in Matrix Completion and Approximation

Akshay Krishnamurthy, Aarti Singh|arXiv (Cornell University)|2014. 07. 14.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 27

한 줄 요약

이 논문은 낮은 랭크 행렬 복원 및 근사에 대해 행 공간 비일관성 가정이 필요 없도록 하는 적응형 샘플링 알고리즘을 제안한다. 이로써 $ n \times n $ 랭크-$ r $ 행렬을 $ O(nr\mu_0\log^2 r) $개의 샘플로 정확하게 복원할 수 있으며, 수동 방법 대비 뛰어난 샘플 복잡도를 달성한다.

ABSTRACT

We consider the related tasks of matrix completion and matrix approximation from missing data and propose adaptive sampling procedures for both problems. We show that adaptive sampling allows one to eliminate standard incoherence assumptions on the matrix row space that are necessary for passive sampling procedures. For exact recovery of a low-rank matrix, our algorithm judiciously selects a few columns to observe in full and, with few additional measurements, projects the remaining columns onto their span. This algorithm exactly recovers an $n imes n$ rank $r$ matrix using $O(nrμ_0 \log^2(r))$ observations, where $μ_0$ is a coherence parameter on the column space of the matrix. In addition to completely eliminating any row space assumptions that have pervaded the literature, this algorithm enjoys a better sample complexity than any existing matrix completion algorithm. To certify that this improvement is due to adaptive sampling, we establish that row space coherence is necessary for passive sampling algorithms to achieve non-trivial sample complexity bounds. For constructing a low-rank approximation to a high-rank input matrix, we propose a simple algorithm that thresholds the singular values of a zero-filled version of the input matrix. The algorithm computes an approximation that is nearly as good as the best rank-$r$ approximation using $O(nrμ\log^2(n))$ samples, where $μ$ is a slightly different coherence parameter on the matrix columns. Again we eliminate assumptions on the row space.

연구 동기 및 목표

• 행렬의 행 공간에 대해 강력한 비일관성 가정이 필요한 수동 행렬 복원 및 근사 알고리즘의 한계를 해결하기 위해.
• 측정값을 정보가 풍부한 열에 집중시킴으로써 적응형 샘플링이 수동 방법보다 더 낮은 샘플 복잡도를 달성할 수 있음을 보여주기 위해.
• 행 공간의 비일관성 없이도 정확한 행렬 복원과 저랭크 근사에 대한 이론적 보장을 제공하기 위해.
• 행 공간 비일관성이 없을 경우 수동 알고리즘이 $ \Omega(n^2) $개의 샘플이 필요하다는 하한선을 설정하여 적응성의 必要성을 입증하기 위해.
• 영행렬로 채운 행렬의 특이값을 임계처리하는 간단하고 확장 가능한 알고리즘을 개발하기 위해.

제안 방법

• 행렬 복원 알고리즘은 몇몇 열을 적극적으로 관측하고, 나머지 모든 열을 그들의 스트레스에 투영하여 정확한 복원을 가능하게 한다.
• 행렬 근사의 경우, 영행렬로 채운 행렬의 SVD를 계산하고 특이값을 임계처리하여 저랭크 근사를 생성한다.
• 적응형 샘플링은 에너지가 높거나 새로운 방향 정보를 지닌 열에 집중하여, 더 적은 샘플로도 정확도를 향상시킨다.
• 샘플 복잡도를 제한하기 위해 열 공간의 비일관성 매개변수 $ \mu_0 $와 $ \mu $를 사용하며, 이를 통해 행 공간 비일관성에 대한 의존도를 제거한다.
• 이론적 분석은 농도 부등식과 스펙트럼 노름 한계에 기반하여, 근사 오차가 최적의 랭크-$ r $ 근사에 비례하는 요소 내에 있음을 보여준다.
• 두 단계 샘플링 전략을 사용한다: 먼저 부분 샘플링을 통해 열 노름을 추정하고, 그 결과를 바탕으로 중요도에 따라 적응적으로 샘플링한다.

실험 결과

연구 질문

• RQ1 적응형 샘플링은 행렬 복원 및 근사에서 행 공간 비일관성 가정이 필요 없도록 할 수 있는가?
• RQ2 적응형 샘플링을 사용할 경우 정확한 행렬 복원을 위해 필요한 최소 샘플 수는 얼마이며, 수동 방법과 비교해 볼 때 어떻게 되는가?
• RQ3 행 공간 비일관성이 없을 경우, 수동 알고리즘의 샘플 복잡도에 대한 본질적인 하한선은 존재하는가?
• RQ4 고랭크 행렬에 대해 적응형 샘플링은 샘플 효율성을 어떻게 향상시키는가?
• RQ5 영행렬로 채운 행렬에 기반한 단순한 임계처리 기반 알고리즘이 최소한의 샘플링으로 경쟁 가능한 근사 품질을 달성할 수 있는가?

주요 결과

• 제안된 행렬 복원 알고리즘은 $ \mu_0 $가 열 공간의 비일관성 매개변수일 때, $ O(nr\mu_0\log^2 r) $개의 샘플로 $ n \times n $ 랭크-$ r $ 행렬을 정확하게 복원한다.
• 이 알고리즘은 기존의 모든 행렬 복원 방법보다 더 낮은 샘플 복잡도를 달성하며, 행렬의 행 공간에 대한 모든 가정을 제거한다.
• 하한선 분석을 통해 수동 샘플링은 행 공간 비일관성이 없을 경우 $ \Omega(n^2) $개의 샘플이 필요하다고 밝혀졌으며, 이는 적응성의 必要성을 입증한다.
• 행렬 근사의 경우, $ O(nr\mu\log^2 n) $개의 샘플로 최적의 랭크-$ r $ 근사와 경쟁 가능한 근사 오차를 달성한다.
• 이상치나 인기 있는 항목이 존재하는 비균일한 에너지 분포에서는 수동 샘플링보다 상당히 뛰어난 성능을 보인다.
• 이론적 분석을 통해 적응형 샘플링이 최대 열 노름에 대한 의존도를 줄여, 비대칭 데이터 분포에서 더 뛰어난 강건성을 확보함을 확인했다.