[논문 리뷰] Weighted Low Rank Matrix Approximation and Acceleration

Elena Tuzhilina, Trevor Hastie|arXiv (Cornell University)|2021. 09. 22.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 요소별 가중치를 통합하여 표준 저질서 행렬 분해와 행렬 완성 문제를 일반화하는 가중치가 부여된 낮은 질서 행렬 근사(WLRMA) 프레임워크를 제안한다. 두 가지 가속 기법—네스테로프 모멘타ム과 앤더슨 가속—을 도입한 프록시멀 그래디언트 알고리즘을 제시하며, 합성 데이터와 실세계의 MovieLens 데이터 모두에서 빠른 수렴을 보이며, 특히 저질서 해를 위한 경우에 뛰어난 성능을 보인다.

ABSTRACT

Low-rank matrix approximation is one of the central concepts in machine learning, with applications in dimension reduction, de-noising, multivariate statistical methodology, and many more. A recent extension to LRMA is called low-rank matrix completion (LRMC). It solves the LRMA problem when some observations are missing and is especially useful for recommender systems. In this paper, we consider an element-wise weighted generalization of LRMA. The resulting weighted low-rank matrix approximation technique therefore covers LRMC as a special case with binary weights. WLRMA has many applications. For example, it is an essential component of GLM optimization algorithms, where an exponential family is used to model the entries of a matrix, and the matrix of natural parameters admits a low-rank structure. We propose an algorithm for solving the weighted problem, as well as two acceleration techniques. Further, we develop a non-SVD modification of the proposed algorithm that is able to handle extremely high-dimensional data. We compare the performance of all the methods on a small simulation example as well as a real-data application.

연구 동기 및 목표

• 관측치의 비균일한 신뢰도나 정밀도를 반영하기 위해 요소별 가중치를 도입함으로써, 표준 저질서 행렬 분해(LRMA)와 저질서 행렬 완성(LRMC)을 일반화한다.
• 결측 데이터 또는 관측 신뢰도가 다양할 경우에도 효율적인 WLRMA 문제 해결을 위한 알고리즘을 개발한다.
• 특히 고차원 또는 희소 행렬인 경우에, 기준 대비 교차 최소제곱(ALS) 알고리즘의 수렴 속도를 네스테로프 모멘타ム과 앤더슨 가속을 통해 가속화한다.
• 전체 SVD 계산을 피하고 극도로 고차원 데이터에 대응할 수 있도록, 전체 SVD를 피하는 비-SVD 방식의 슬림한 행렬 재구성 기법을 통해 확장 가능한 계산을 가능하게 한다.

제안 방법

• 관측치의 신뢰도나 정밀도를 코딩하기 위해 가중치 행렬을 사용하는 가중치가 부여된 프레임워크를 정의함으로써, 잔차의 가중치가 부여된 프로베니우스 노름 최소화와 핵 노름 펜alties를 포함하는 볼록 완화 문제로 WLRMA를 공식화한다.
• WLRMA 문제를 해결하기 위해 프록시멀 그래디언트 강하 알고리즘을 개발하며, 저질서 요인 행렬 $A$와 $B$를 소프트 스레셔닝을 포함한 교차 최소제곱 방식으로 반복 업데이트한다.
• 이전 반복의 정보를 활용해 모멘타ム을 통합함으로써 ALS 프레임워크 내에서 네스테로프 가속을 도입한다.
• WLRMA 문제를 고정점 반복으로 재구성하고, Krylov 부분공간 방법을 사용해 수렴 속도를 가속화함으로써 앤더슨 가속을 적용한다.
• 전체 SVD 계산을 피하고, 단지 슬림한 요인 행렬($A imes k$, $B imes k$)을 유지하는 비-SVD 변형을 구현하며, 이 작은 행렬들에 대해 순차적 SVD를 수행해 질서를 계산함으로써 계산 비용을 감소시킨다.
• 각 단계에서 목적함수의 충분한 감소를 보장하기 위해 보호된 앤더슨 가속을 적용하여 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 요소별 가중치를 통합함으로써 표준 저질서 행렬 근사와 행렬 완성 문제를 통합하는 프레임워크를 개발할 수 있는가?
• RQ2 고차원 또는 희소 설정에서 반복적 WLRMA 해법의 수렴 속도를 어떻게 향상시킬 수 있는가?
• RQ3 WLRMA에 대해 네스테로프 가속 또는 앤더슨 가속이 기준 ALS 대비 수렴 속도와 안정성 면에서 뛰어나게 되는가?
• RQ4 전체 SVD 계산 없이도, 비-SVD 및 슬림한 행렬 재구성 기법을 통해 WLRMA를 극도로 고차원 데이터에 확장할 수 있는가?

주요 결과

• 제안된 WLRMA 프레임워크는 이진 가중치를 사용해 결측 데이터를 처리하는 표준 LRMA와 LRMC를 특수 케이스로 포함한다.
• MovieLens 데이터셋에서 $ ho=5$ 및 $ ho=20$ 질서 해에 대해, 깊이 $m=3$인 앤더슨 가속이 기준 ALS 및 네스테로프 가속보다 더 빠른 수렴을 달성했다.
• $ ho=70$ (높은 질서)인 경우, 네스테로프 가속이 $ ho=10^{-4}$ 정확도에서 약간 우수했지만, 두 가속 기법 모두 기준 ALS보다 유의미하게 더 빠른 수렴을 보였다.
• 비-SVD 및 슬림한 행렬 재구성 기법은 전체 SVD 없이도 행렬 질서와 저질서 근사를 효율적으로 계산할 수 있게 하여, 반복당 계산 비용을 감소시켰다.
• 보호된 앤더슨 가속은 목적함수의 단조 감소를 보장하여 실무에서 안정성과 신뢰성을 향상시켰다.
• MovieLens 데이터셋($6000 imes 4000$, 5% 관측)에서, 모든 가속 기법이 5분 이내에 $ ho=10^{-4}$ 정확도를 달성했으며, 특히 저질서 해에 대해 앤더슨 가속이 가장 뛰어난 성능을 보였다.