[논문 리뷰] High-Rank Matrix Completion and Subspace Clustering with Missing Data

Brian Eriksson, Laura Balzano외 1명|arXiv (Cornell University)|2011. 12. 23.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 55

한 줄 요약

이 논문은 열들이 저질서수하위공간의 합집합에 속하는 행렬에 대한 새로운 고질서수행렬 완성 방법을 제안한다. 이는 흩어진, 균일한 랜덤 관측값으로부터 정확한 열 복원을 가능하게 한다. 약간의 비일관성과 기하학적 가정 하에, 전역 질서가 높아 여러 하위공간으로 인해 고질서수일 경우, 표준 저질서수 완성보다 크게 향상된 성능을 보이며, 최소 $ C r N /\log^2 n $개의 요소가 관측될 경우 각 열이 높은 확률로 완전히 복원될 수 있다.

ABSTRACT

This paper considers the problem of completing a matrix with many missing entries under the assumption that the columns of the matrix belong to a union of multiple low-rank subspaces. This generalizes the standard low-rank matrix completion problem to situations in which the matrix rank can be quite high or even full rank. Since the columns belong to a union of subspaces, this problem may also be viewed as a missing-data version of the subspace clustering problem. Let X be an n x N matrix whose (complete) columns lie in a union of at most k subspaces, each of rank <= r < n, and assume N >> kn. The main result of the paper shows that under mild assumptions each column of X can be perfectly recovered with high probability from an incomplete version so long as at least CrNlog^2(n) entries of X are observed uniformly at random, with C>1 a constant depending on the usual incoherence conditions, the geometrical arrangement of subspaces, and the distribution of columns over the subspaces. The result is illustrated with numerical experiments and an application to Internet distance matrix completion and topology identification.

연구 동기 및 목표

• 전체 행렬 질서가 크거나 최대일지라도 열들이 저질서수하위공간의 합집합에 속하는 고질서수 설정에서의 행렬 완성을 다루기.
• 질서가 $ n $에 가까워질 경우 거의 모든 요소가 필요로 하는 표준 저질서수 완성의 한계를 극복하기 위해 하위공간 구조를 활용하기.
• 전체 행렬 복원이 아닌 각 열 복원에 초점을 맞춤으로써 대규모 행렬(예: $ N \gg n $)의 실용적 완성을 가능하게 하기.
• 희박하고 균일한 랜덤 샘플링 조건 하에서 정확한 열 복원에 대한 이론적 보장을 제공하기, 심지어 행렬이 전순위일 경우에도.
• 인터넷 위성 구조 추론과 같은 실세계 문제에 적용 가능한 결측 데이터가 있는 문제에 적용 가능하도록 방법 개발하기.

제안 방법

• 행렬 $ \mathbf{X} \in \mathbb{R}^{n \times N} $를 최대 $ k $개의 하위공간에 속하며, 각각의 질서가 $ \leq r < n $이며, $ N \gg kn $임을 모델링한다.
• 각 열을 국소 관측값 집합에서의 저질서수 근사 문제를 푸는 데 기반한 계산적으로 효율적인 알고리즘을 제안한다.
• 샘플링 조건을 적용: 각 열은 최소 $ C r N \log^2 n $개의 관측 요소가 필요하며, $ C > 1 $은 비일관성, 하위공간 기하학, 열 분포에 따라 달라진다.
• 표준 저질서수 완성의 $ rN \log^2 N $ 샘플링 요구 조건을 피하기 위해 하위공간의 합집합 구조를 활용하여, 대신 $ rN \log^2 n $의 샘플링 요구 조건을 달성한다.
• 실세계 인터넷 거리 행렬 완성에 이 방법을 적용하며, 네트워크 세그먼트가 저질서수 하위공간에 해당함(예: 각 세그먼트당 질서 2).
• 알고리즘이 알려지지 않은 경우 하위공간 수 $ k $를 추정하기 위한 히우리스틱을 사용하고, $ N = 22,550 $개의 IP 주소와 $ n = 100 $개의 모니터를 사용한 실제 지연 데이터에 적용한다.

실험 결과

연구 질문

• RQ1 전역 질서가 $ n $에 가까운 경우에도 열들이 저질서수하위공간의 합집합에 속할 때 정확한 행렬 완성이 가능할 수 있는가?
• RQ2 균일한 랜덤 샘플링 조건 하에서 높은 확률로 각 열 복원을 보장하기 위한 최소 샘플링 비율은 무엇인가?
• RQ3 고질서수, 하위공간 구조가 있는 데이터에 대해 제안된 방법이 표준 저질서수 완성과 비교해 샘플링 효율성과 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 실세계 인터넷 거리 행렬에서 결측된 요소를 높은 정확도로 복원할 수 있는가? 특히 기저 네트워크 구조가 하위공간의 합집합을 이룰 경우에 대해.
• RQ5 하위공간 수 $ k $가 알려지지 않았거나 데이터로부터 추정될 경우에도 이 방법은 여전히 효과적인가?

주요 결과

• 각 열이 높은 확률로 정확히 복원될 수 있으며, 이는 최소 $ C r N \log^2 n $개의 관측 요소가 확보된 경우에 해당하며, $ C > 1 $은 비일관성, 하위공간 기하학, 열 분포에 따라 달라진다.
• 모의 실험에서 이 방법은 각 열당 약 50개의 관측값으로도 정확한 복원을 달성했으며, 반면 표준 저질서수 완성은 더 높은 질서($ rk = 50 $)로 인해 각 열당 거의 230개의 관측값이 필요로 했다.
• 하위공간 수 $ k = 12 $, 모니터 수 $ n = 75 $, IP 주소 수 $ N = 2700 $인 합성 네트워크에서, 고질서수 방법은 40% 관측률에서 결측한 점프 수의 70% 이상을 정확히 복원했다.
• 동일한 조건에서 표준 저질서수 완성은 거의 정확한 복원을 달성하지 못했으며, 하위공간 구조를 활용한 방법의 우월성을 입증했다.
• 실세계 지연 데이터(모니터 수 $ n = 100 $, IP 주소 수 $ N = 22,550 $)에서, 고질서수 방법은 40% 관측 요소 조건에서 표준 저질서수 완성보다 유의미하게 높은 정확도를 보였다.
• 이 방법은 수동이고 완전하지 않은 점프 수 측정값으로부터 기저 네트워크 구조를 성공적으로 복원했으며, 인터넷 위성 구조 추론에서 실용적 유용성을 입증했다.