[논문 리뷰] Alternating Iteratively Reweighted Minimization Algorithms for Low-Rank Matrix Factorization

Paris V. Giampouras, Athanasios A. Rontogiannis외 1명|arXiv (Cornell University)|2017. 10. 05.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 3

한 줄 요약

이 논문은 저차원 행렬 분해를 위한 반복적 재가중 최소화 알고리즘을 제안하며, 새로운 재가중 기법을 통해 행렬 인자의 열 희박성을 동시에 유도함으로써 저차원성을 촉진한다. 이 방법은 비활성 열을 제거함으로써 시간이 지남에 따라 계산 복잡도를 감소시켜, Movielens 10M와 같은 대규모 데이터셋에서 행렬 완성, 노이즈 제거, 비음수 행렬 분해(NMF) 문제에서 최신 기술 수준의 성능을 달성하며, 수렴 속도가 빠르고 런타임이 짧다.

ABSTRACT

Nowadays, the availability of large-scale data in disparate application domains urges the deployment of sophisticated tools for extracting valuable knowledge out of this huge bulk of information. In that vein, low-rank representations (LRRs) which seek low-dimensional embeddings of data have naturally appeared. In an effort to reduce computational complexity and improve estimation performance, LRR has been viewed via a matrix factorization (MF) perspective. Recently, low-rank MF (LRMF) approaches have been proposed for tackling the inherent weakness of MF i.e., the unawareness of the dimension of the low-dimensional space where data reside. Herein, inspired by the merits of iterative reweighted schemes for rank minimization, we come up with a generic low-rank promoting regularization function. Then, focusing on a specific instance of it, we propose a regularizer that imposes column-sparsity jointly on the two matrix factors that result from MF, thus promoting low-rankness on the optimization problem. The problems of denoising, matrix completion and non-negative matrix factorization (NMF) are redefined according to the new LRMF formulation and solved via efficient Newton-type algorithms with proven theoretical guarantees as to their convergence and rates of convergence to stationary points. The effectiveness of the proposed algorithms is verified in diverse simulated and real data experiments.

연구 동기 및 목표

• 대규모 데이터 응용 분야에서 볼록 저차원 행렬 복원 방법의 높은 계산 복잡도 문제를 해결하기 위해.
• 기존 비볼록 행렬 분해 방법은 최적화 과정에서 행렬 질량이 감소하더라도 매 반복의 계산 복잡도가 고정되어 있다는 문제를 해결하기 위해.
• 진행 중인 최적화 과정에서 점진적 복잡도 감소를 가능하게 하는 유연한 비볼록 저차원성 촉진 정규화 프레임워크를 개발하기 위해.
• 기존 저차원 MF 접근법들을 단일 재가중 기반 공식화에 통합하고 일반화하기 위해.
• 다양한 문제들—행렬 완성, 노이즈 제거, 비음수 행렬 분해(NMF)—에서 제안된 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 행렬 인자의 프로베니우스 노름 제곱합을 반복적으로 재가중 최소화하는 기반의 일반적인 비볼록 정규화 함수를 도입한다.
• 공통의 재가중 행렬을 두 인자에 동시에 적용함으로써 공동의 열 희박성 촉진 정규화를 제안하며, 이는 동시에 열 제거를 유도한다.
• 유도된 비볼록 최적화 문제를 해결하기 위해 블록 연속 상한 최소화(BSUM) 프레임워크를 활용한다.
• 각 문제 인스턴스에 대해 정류점으로 수렴 보장이 있는 뉴턴 유형 알고리즘을 개발한다.
• 최적화가 진행됨에 따라 반복 간에 재가중 기법을 다이나믹하게 적응시켜, 효과적 질량을 감소시킴으로써 반복당 계산 비용을 점차 줄인다.
• 세 가지 핵심 문제—행렬 완성, 노이즈 제거, 비음수 행렬 분해(NMF)—에 프레임워크를 적용하며, 문제에 맞는 알고리즘 구현을 제안한다.

실험 결과

연구 질문

• RQ1 반복적 재가중 행렬 분해 프레임워크는 비활성 열을 다이나믹하게 제거함으로써 시간이 지남에 따라 계산 복잡도를 줄일 수 있는가?
• RQ2 두 행렬 인자에 동시에 희박성 촉진 정규화를 적용할 경우, 기존의 핵심 노름 또는 슈atten-p 노름 완화 기법보다 더 나은 저차원 근사가 가능한가?
• RQ3 대규모 행렬 완성 작업에서 제안된 AIRLS-MC 알고리즘이 softImpute-ALS에 비해 수렴 속도와 총 런타임 측면에서 어떻게 비교되는가?
• RQ4 제안된 AIRLS-NMF 알고리즘은 가우시안 노이즈 가정 하에 과적합 없이 신호 분해에서 적절한 성분 수를 자동으로 결정할 수 있는가?
• RQ5 제안된 프레임워크는 기존 최신 기술 수준의 저차원 MF 방법들을 얼마나 광범위하게 일반화하고 포함하는가?

주요 결과

• Movielens 10M 데이터셋에서 AIRLS-MC는 소프트아이미튜-ALS 대비 총 런타임을 72% 감소시켰다(54.4분 대비 192.6분)며, 반복 수는 더 많지만 성능이 뛰어나다.
• 질량 감소가 시작된 후 AIRLS-MC는 반복당 시간을 크게 줄여, 열 제거에 의한 다이나믹한 복잡도 감소를 입증했다.
• 음악 신호 분해 실험에서 AIRLS-NMF는 정확히 여섯 개의 성분(네 개의 피아노 음과 두 개의 잡음)을 식별했고, ARD-NMF는 과적합으로 20개 성분을 추정했다.
• 제안된 AIRLS-NMF는 가우시안 노이즈 가정 하에서 ARD-NMF를 능가했으며, 더 정확한 노이즈 통계를 가정하는 ARD-IS-NMF와 성능이 유사했다.
• 제안된 프레임워크는 슈텐-파이 노름 기반 방법과 변동성 핵심 노름 근사 방법을 특수 케이스로 일반화하고 있다.
• 프레임워크에서 사용된 뉴턴 유형 알고리즘은 빠른 수렴 속도를 보이며 이론적으로 정류점으로 수렴 보장이 있다.