[논문 리뷰] Learning Low Rank Matrices from O(n) Entries

Raghunandan H. Keshavan, Andrea Montanari외 1명|ArXiv.org|2008. 12. 14.

Machine Learning and Algorithms참고 문헌 1인용 수 6

한 줄 요약

이 논문은 O(n)개의 랜덤 입력이 저질서수 n×n 행렬을 임의의 원하는 정밀도 δ 이내로 재구성하는 데 충분함을 보여준다. 이는 새로운 局소 검색 알고리즘인 WalkRank를 사용하여 달성된다. 이 방법은 n·Poly(log n) 연산 내에 거의 최적의 재구성을 효율적으로 달성하며, 대규모 문제에 대해 전통적인 정준형 프로그래밍보다 뚜렷이 뛰어나다.

ABSTRACT

How many random entries of an n by m, rank r matrix are necessary to reconstruct the matrix within an accuracy d? We address this question in the case of a random matrix with bounded rank, whereby the observed entries are chosen uniformly at random. We prove that, for any d>0, C(r,d)n observations are sufficient. Finally we discuss the question of reconstructing the matrix efficiently, and demonstrate through extensive simulations that this task can be accomplished in nPoly(log n) operations, for small rank.

연구 동기 및 목표

• 주어진 오차 허용 범위 내에서 저질서수 행렬을 재구성하기 위해 필요한 최소 랜덤 입력 수를 결정하는 것.
• 대규모 행렬 완성 문제에 대해 정준형 프로그래밍의 비효율성 문제를 해결하는 것.
• 최소한의 관측으로도 고정밀도 재구성을 달성하는 계산적으로 효율적인 알고리즘을 개발하는 것.
• 랜덤 저질서수 행렬 모델에서 재구성 오차와 관측된 입력 수 사이의 상호 상관 관계를 분석하는 것.

제안 방법

• 저질서수 행렬 요소를 개선하기 위해 탐욕적 이동과 산책 이동을 번갈아 사용하는 局소 검색 알고리즘인 WalkRank를 제안한다.
• 개별 행 또는 열 요소를 갱신하여 비용 함수를 최소화하기 위해 탐욕적 이동을 사용한다.
• 관측된 입력에서 큰 오차를 수정하기 위해 요소 벡터를 재추정함으로써 산책 이동을 활용한다.
• 탐색과 수렴의 균형을 이루기 위해 산책 이동을 확률 ρ≈0.1로 확률적으로 선택하는 규칙을 도입한다.
• Δ(관측 정밀도)와 ε 및 r에 의존하는 항을 포함한 오차 경계를 사용하여 재구성 오차를 분석한다.
• 합성 데이터를 사용하여 성능을 실증적으로 검증하고, 최대우도 하한선과 비교한다.

실험 결과

연구 질문

• RQ1 O(n^{6/5})가 아니라 O(n)의 랜덤 관측으로 저질서수 행렬 재구성을 달성할 수 있는가?
• RQ2 관측된 입력 수와 달성 가능한 재구성 오차 사이의 근본적 상호 상관 관계는 무엇인가?
• RQ3 국소 검색 알고리즘이 핵심 노름 최소화와 같은 볼록 완화 방법보다 계산 효율성이 뛰어나게 작용할 수 있는가?
• RQ4 국소 검색 알고리즘의 성능은 행렬 크기와 질서수에 따라 어떻게 스케일링되는가?
• RQ5 실제 알고리즘의 성능과 최대우도 추정의 이론적 하한선 사이에 격차가 존재하는가?

주요 결과

• O(n)개의 랜덤 입력이 충분하여 질서수 r인 n×n 행렬을 Δ + 2r·ε⁻¹/²·log(10ε̃)의 오차 경계 내에서 재구성할 수 있으며, 여기서 ε̃ = ε/((1+α)r)이다.
• WalkRank 알고리즘은 이론적 최대우도 하한선에 매우 가까운 재구성 오차를 달성하며, 열/행당 하나 또는 두 개의 추가 입력만으로도 가능하다.
• 알고리즘은 효율적으로 스케일링되며, 약 n·Poly(log n) 연산의 복잡도를 가지며, 대규모 행렬 완성에 적합하다.
• 시뮬레이션 결과 재구성 오차는 두 개의 지수 범위에 걸쳐 행렬 크기 n과 거의 무관하며, ε 증가에 따라 급격히 감소함을 보였다.
• 넷플릭스와 같은 실세계 데이터의 경우, 피팅 오차와 예측 오차가 시간이 지남에 따라 감소하여 실세계 데이터가 랜덤 저질서수 행렬과 i.i.d. 노이즈 사이에 있음을 시사한다.
• 특히 큰 n과 작은 r에 대해, 볼록 완화보다 계산 효율성이 뛰어나면서도 거의 최적의 정밀도를 유지한다.