[논문 리뷰] Matrix Completion and Low-Rank SVD via Fast Alternating Least Squares

Trevor Hastie, Rahul Mazumder외 2명|arXiv (Cornell University)|2014. 10. 09.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 307

한 줄 요약

이 논문은 소프트아이미튜와 최대마진 행렬분해(MMMF)의 장점을 융합하여 행렬 완성과 저질서 SVD를 위한 빠른 교차최소제곱(ALS) 알고리즘을 제안한다. 각 반복에서 채워진 행렬에 대해 단일 리지 회귀 문제를 푸는 방식으로 수렴 속도를 높이며, 온난 시작(warm starts)과 희소 행렬 활용을 통해 대규모 계산을 효율적으로 수행하여, 저질서 문제에서 표준 ALS와 소프트아이미튜보다 빠르고 확장성 있는 성능을 달성한다.

ABSTRACT

The matrix-completion problem has attracted a lot of attention, largely as a result of the celebrated Netflix competition. Two popular approaches for solving the problem are nuclear-norm-regularized matrix approximation (Candes and Tao, 2009, Mazumder, Hastie and Tibshirani, 2010), and maximum-margin matrix factorization (Srebro, Rennie and Jaakkola, 2005). These two procedures are in some cases solving equivalent problems, but with quite different algorithms. In this article we bring the two approaches together, leading to an efficient algorithm for large matrix factorization and completion that outperforms both of these. We develop a software package "softImpute" in R for implementing our approaches, and a distributed version for very large matrices using the "Spark" cluster programming environment.

연구 동기 및 목표

• 소프트아이미튜에서 반복적인 SVD 계산으로 인해 발생하는 계산 병목 현상을 해결하기 위해 대규모 행렬 완성에서의 계산 비용을 낮추는 것.
• ALS의 효율성과 소프트아이미튜의 저질서 정규화를 융합하여 확장성과 수렴 속도를 향상시키는 것.
• 희소 표현과 온난 시작을 활용하여 매우 큰 행렬에서 빠르고 분산된 행렬 완성을 가능하게 하는 것.
• 핵심-노름 정규화 행렬 완성과 저질서 인수분해 문제를 효율적으로 해결하는 통합 프레임워크를 개발하는 것.

제안 방법

• 채워진 행렬에서 단일 리지 회귀 문제를 푸는 방식으로 누락된 값을 추정하고, 이를 반복적으로 교차 적용하는 새로운 알고리즘인 소프트아이미튜-ALS를 제안한다.
• 표준 ALS에서 요구되는 각 행/열별 별도의 회귀 분석을 피하기 위해, 완전히 관측된 행렬에서 단일 공통 리지 회귀를 모든 행/열에 대해 적용한다.
• 이전 반복의 결과에서 온난 시작을 활용하여 수렴 속도를 높이며, 특히 최적해에 가까운 후반 단계에서 SVD 계산 시간을 크게 줄인다.
• 관측 데이터의 희소 행렬 표현과 인수 행렬의 저질서 구조를 활용하여 저장공간과 계산량을 줄인다.
• 수치적 안정성을 향상시키기 위해 선택적이고 반복적으로 적용 가능한 방법의 모멘트(모멘트 방법) 접근 방식을 도입한다.
• 알고리즘의 효율성과 희소 구조를 활용하여 Spark를 사용한 분산 버전을 구현하여 매우 큰 행렬에 대한 확장 가능한 행렬 완성을 실현한다.

실험 결과

연구 질문

• RQ1 소프트아이미튜와 ALS를 융합한 하이브리드 알고리즘이 대규모 행렬 완성에서 더 빠른 수렴과 향상된 확장성을 달성할 수 있는가?
• RQ2 채워진 행렬에서 각 반복마다 단일 리지 회귀를 푸는 것이 표준 ALS에서의 행/열 별 별도 회귀 분석보다 우수한가?
• RQ3 이전 반복의 결과에서 온난 시작을 활용하면 행렬 완성에서 SVD 계산 시간을 크게 줄일 수 있는가?
• RQ4 매우 큰 희소 행렬에서 제안된 방법이 소프트아이미튜와 표준 ALS에 비해 성능과 효율성 면에서 어떻게 비교되는가?
• RQ5 선택적 중심화 및 스케일링이 행렬 완성 알고리즘의 수렴과 정확도에 어떤 영향을 미치는가?

주요 결과

• 반복적인 SVD 계산을 피하기 때문에, 제안된 소프트아이미튜-ALS 알고리즘은 표준 소프트아이미튜보다 수렴 속도가 크게 빠르다.
• 채워진 행렬에서 각 반복마다 단일 리지 회귀를 푸는 방식으로, 표준 ALS가 각 행 또는 열별로 별도의 회귀 분석을 수행해야 하는 것에 비해 계산 오버헤드를 줄인다.
• 온난 시작과 희소 행렬 계산을 통해 고도로 효율적인 알고리즘이 되어, 저질서 구조를 가진 매우 큰 행렬에 적합하다.
• 방법의 모멘트 중심화 및 스케일링 절차는 실무에서 매우 빠르게 수렴하며, R이 빠르게 0에 수렴함으로써 데이터 구조에 신속히 적응하는 것으로 나타났다.
• Spark를 활용한 분산 구현을 통해 매우 큰 데이터셋에서도 확장 가능한 행렬 완성을 실현하였으며, 알고리즘의 계산 효율성과 희소 구조를 유감없이 활용하였다.
• 핵심-노름 정규화와 저질서 인수분해 간의 격차를 성공적으로 메우며, 둘 다에 대해 효율적인 통합 솔루션을 제공한다.