[논문 리뷰] Fast Bayesian Non-Negative Matrix Factorisation and Tri-Factorisation

Thomas Brouwer, Jes Frellsen외 1명|arXiv (Cornell University)|2016. 10. 26.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 베이지안 추론을 사용한 비음수 행렬 분해(NMF) 및 삼중 분해(NMTF)를 위한 빠른 변분 추론 알고리즘을 제안한다. 기존의 고전적 기법인 게이브스 샘플링이나 비확률적 방법보다 더 효율적으로 사후 분포를 근사하기 위해 결정론적 최적화를 사용한다. 이 방법은 NMTF의 경우 벽시계 시간 기준 최대 4배 빠른 수렴 속도를 달성하며, 추가 샘플링이 필요로 하지 않아 과적합 위험도 감소시킨다.

ABSTRACT

We present a fast variational Bayesian algorithm for performing non-negative matrix factorisation and tri-factorisation. We show that our approach achieves faster convergence per iteration and timestep (wall-clock) than Gibbs sampling and non-probabilistic approaches, and do not require additional samples to estimate the posterior. We show that in particular for matrix tri-factorisation convergence is difficult, but our variational Bayesian approach offers a fast solution, allowing the tri-factorisation approach to be used more effectively.

연구 동기 및 목표

• 비음수 행렬 분해를 위한 MCMC 기반 베이지안 추론의 더 빠르고 결정론적인 대안을 개발하기 위해.
• 기존 샘플링 방법으로는 특히 어려운 삼중 행렬 분해에서의 느린 수렴 문제를 해결하기 위해.
• 리처드와 시운의 알고리즘과 같은 점 추정 기반 방법에 비해 불확실성을 포괄하고 과적합을 줄이는 완전한 베이지안 프레임워크를 제공하기 위해.
• 계산 효율성을 향상시켜 대규모 데이터 세트에 대한 NMTF의 확장 가능한 적용을 가능하게 하기 위해.
• 낮은 데이터 양과 노이즈가 있는 환경에서의 강건성을 평가하여, 특히 누락 값 예측에 유리한 성능을 확보하기 위해.

제안 방법

• 비음수 인자 행렬의 진정한 사후 분포를 근사하기 위해 변분 베이지안 추론을 사용하며, 계산이 용이한 변분 분포를 활용한다.
• 비음수성을 보장하기 위해 인자 행렬 U와 V에 지수 분포를, 잡음 정밀도 τ에 감마 분포를 사용한다.
• 변분 파라미터에 대한 폐쇄형 업데이트 식을 유도하기 위해 진정한 사후 분포와 변분 분포 간의 쿨백-라이블러 발산을 최소화한다.
• NMF와 NMTF 모두에 동일한 변분 프레임워크를 적용하여, 비음수 제약 조건이 있는 삼중 인자 분해로 확장한다.
• 변분 하한(증거 하한, ELBO)을 변분 파라미터에 대한 반복적 좌표 상승 최적화를 통해 최적화한다.
• MCMC의 초기화 단계와 샘플링 간격 조정이 필요 없이, 직접적인 결정론적 수렴을 통해 사후 근사에 도달한다.

실험 결과

연구 질문

• RQ1 변분 베이지안 접근법이 비음수 행렬 분해에서 게이브스 샘플링보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 삼중 행렬 분해에서 수렴이 어려운 상황에서, 제안된 방법의 벽시계 시간 및 수렴 속도는 어떻게 되는가?
• RQ3 비확률적 방법과 MAP 기반 방법에 비해 변분 베이지안 접근법이 누락 데이터와 노이즈에 더 강건한가?
• RQ4 정확도와 불확실성 측정을 유지하면서도, 더 큰 데이터 세트에 효과적으로 스케일링할 수 있는가?
• RQ5 실제 세계 데이터에서 게이브스 샘플링과 비확률적 NMF/NMTF에 비해 변분 접근법의 예측 정확도는 어떻게 되는가?

주요 결과

• 삼중 분해의 경우, 제안된 변분 베이지안 NMF 및 NMTF 방법은 경쟁 기법 대비 반복 수에서 7배 더 빠른 수렴 속도를 보였다.
• 삼중 행렬 분해에서 제안된 방법은 게이브스 샘플링 대비 벽시계 시간 기준 4배 빠른 성능 향상을 달성했다.
• 변분 접근법은 비확률적 NMF 방법 대비 벽시계 시간 기준 2배 더 빠른 수렴 속도를 보였다.
• 베이지안 모델, 특히 제안된 변분 방법은 노이즈와 희소성에 대해 뛰어난 강건성을 보였으며, 고노이즈 및 고누락 상황에서도 비확률적 모델보다 누락 값 예측에서 뛰어난 성능을 보였다.
• 추가 샘플링이 필요 없이 결정론적 사후 근사를 제공하여 MCMC 대비 계산 오버헤드를 감소시켰다.
• 81%의 데이터가 관측된 GDSC 약물 민감도 데이터 세트에서도 높은 예측 정확도를 유지했으며, 노이즈와 누락 데이터가 증가함에 따라도 우수한 성능을 보였다.