[논문 리뷰] Bayesian Matrix Completion via Adaptive Relaxed Spectral Regularization

Yang Song, Jun Zhu|arXiv (Cornell University)|2015. 12. 03.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 6

한 줄 요약

이 논문은 저질서 행렬 복원에서 정규직교 제약 조건의 곤경을 피하기 위해 적응형 이완 스펙트럴 정규화 기반의 새로운 베이지안 행렬 완성 방법을 제안한다. 핵심 노름을 이완된 제약 조건을 통해 재구성하고 특이값에 대한 흩어짐 유도 사전을 적용함으로써, 파rameter 조정 없이 완전한 베이지안 추론을 가능하게 하여, 특히 매우 희박한 행렬에서 최신 기법들에 비해 뛰어난 질서 복원 성능과 협업 필터링 성능을 달성한다.

ABSTRACT

Bayesian matrix completion has been studied based on a low-rank matrix factorization formulation with promising results. However, little work has been done on Bayesian matrix completion based on the more direct spectral regularization formulation. We fill this gap by presenting a novel Bayesian matrix completion method based on spectral regularization. In order to circumvent the difficulties of dealing with the orthonormality constraints of singular vectors, we derive a new equivalent form with relaxed constraints, which then leads us to design an adaptive version of spectral regularization feasible for Bayesian inference. Our Bayesian method requires no parameter tuning and can infer the number of latent factors automatically. Experiments on synthetic and real datasets demonstrate encouraging results on rank recovery and collaborative filtering, with notably good results for very sparse matrices.

연구 동기 및 목표

• 직접 스펙트럴 정규화에 기반한 베이지안 행렬 완성 기법의 부재를 해결함으로써, 스티펠 다양체 최적화의 복잡성을 피하고자 한다.
• 스펙트럴 정규화에서 비공액 사전의 비가역성 문제를 해결하기 위해 효율적인 베이지안 추론을 가능하게 하는 등가의 이완된 형태를 유도하고자 한다.
• 수동적인 하이퍼파rameter 조정 없이도 잠재 요인의 수를 자동으로 추론하고 각 특이값마다 정규화를 적응적으로 조정할 수 있는 방법을 개발하고자 한다.
• 특이값에 대한 흩어짐 유도 사전을 활용하여 저질서 행렬 완성 성능, 특히 매우 희박한 설정에서의 성능을 향상시키고자 한다.
• 합성 및 실세계 협업 필터링 작업에서 기존의 행렬 분해 접근 방식에 비해 스펙트럴 정규화가 베이지안 행렬 완성에서 우월함을 입증하고자 한다.

제안 방법

• 특이벡터에 대한 이완된 정규직교 제약 조건을 사용하여 핵심 노름의 새로운 등가 형태를 유도함으로써, 추론이 가능해지는 베이지안 추론을 가능하게 한다.
• 각 잠재 차원마다 적응적인 정규화를 가능하게 하기 위해 특이값에 반경형 캐시 사전을 적용하는 계층적 베이지안 모델을 적용한다.
• 하이퍼파rameter 추정을 위해 몬테카를로 기반의 EM 알고리즘과 함께 게이브스 샘플러를 사용하여 정규화 파rameter의 수동 조정을 피한다.
• 기존의 스티펠 다양체 최적화를 이완된 매개변수화 방식으로 대체함으로써 샘플링을 단순화하고 원래의 스펙트럴 정규화와의 등가성을 유지한다.
• 핵심 노름의 변분 형태를 사용하여 이완된 스펙트럴 형태를 표준 행렬 분해와 연결함으로써 효율적인 사후 분포 계산을 가능하게 한다.
• 이완된 SVD 형태에서 유도된 공액 사전과 조건부 분포를 활용하여 정확한 게이브스 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 직접 스펙트럴 정규화에 기반한 베이지안 행렬 완성 프레임워크를 성공적으로 구축할 수 있는가? 이는 행렬 분해를 피할 수 있는가?
• RQ2 스펙트럴 정규화에서 정규직교 제약 조건을 어떻게 이완하여 효율적인 베이지안 추론을 가능하게 할 수 있는가?
• RQ3 특이값에 대한 흩어짐 유도 사전이 매우 희박한 행렬에서 더 나은 질서 복원 성능과 성능 향상을 이끌 수 있는가?
• RQ4 제안된 방법이 수동적인 질서 잘라내기 없이도 잠재 요인의 수를 자동으로 추론할 수 있는가?
• RQ5 제안된 방법은 협업 필터링 작업에서 최신의 베이지안 및 비베이지안 행렬 완성 알고리즘과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법인 GASR은 협업 필터링 작업에서 최신 기법을 능가하는 성능을 보이며, 각각 97.8%의 결측률을 가진 EachMovie 데이터셋에서는 BPMF를 능가하고, 95.8%의 결측률을 가진 MovieLens 데이터셋에서는 이를 따라잡는다.
• MovieLens에서 GASR은 예측값을 정수로 반올림한 후 NMAE 0.1569 ± 0.0006과 RMSE 0.8877을 기록하여 iPM3F와 SoftImpute를 크게 능가한다.
• EachMovie에서 GASR은 예측값을 정수로 반올림한 후 NMAE 0.1877 ± 0.0003과 RMSE 0.9211을 기록하여 극단적인 희박성에서도 강인함을 입증한다.
• MovieLens와 EachMovie 양쪽 모두에서 추론된 질서는 평균적으로 10이며, iPM3F는 높은 질서를 추론한다(자uncation 시 30, 무제한일 경우 최대 450). 이는 GASR의 뛰어난 질서 추정 능력을 시사한다.
• HASI, SoftImpute, SoftImpute-ALS와 같은 비베이지안 방법들보다도 GASR이 성능이 뛰어나, 적응형 사전을 갖춘 베이지안 추론의 이점을 보여준다.
• 매우 희박한 환경에서의 성능이 특히 뛰어나, 경쟁 기법들에 비해 질서 복원 및 예측 정확도 향상이 뚜렷하다.