[논문 리뷰] Automatic Relevance Determination in Nonnegative Matrix Factorization with the \beta-Divergence

Vincent Y. F. Tan, Cédric Févotte|arXiv (Cornell University)|2011. 11. 25.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 β-분산을 사용한 자동 관련성 결정(ARD)을 활용한 베이지안 비음수 행렬 분해(NMF) 프레임워크를 제안한다. 이 방법은 모델 순서 K를 자동으로 추정하며, 사전 분포에서 사전 분해 행렬과 활성화 행렬의 척도 매개변수를 연결함으로써 군집 스파arsity를 유도한다. MM 알고리즘을 통해 목적 함수가 매 반복마다 단조 감소하도록 하여, 합성 데이터, 음악, 주식 데이터에서 기준 방법들보다 뛰어난 성능을 달성한다.

ABSTRACT

This paper addresses the estimation of the latent dimensionality in nonnegative matrix factorization (NMF) with the \beta-divergence. The \beta-divergence is a family of cost functions that includes the squared Euclidean distance, Kullback-Leibler and Itakura-Saito divergences as special cases. Learning the model order is important as it is necessary to strike the right balance between data fidelity and overfitting. We propose a Bayesian model based on automatic relevance determination in which the columns of the dictionary matrix and the rows of the activation matrix are tied together through a common scale parameter in their prior. A family of majorization-minimization algorithms is proposed for maximum a posteriori (MAP) estimation. A subset of scale parameters is driven to a small lower bound in the course of inference, with the effect of pruning the corresponding spurious components. We demonstrate the efficacy and robustness of our algorithms by performing extensive experiments on synthetic data, the swimmer dataset, a music decomposition example and a stock price prediction task.

연구 동기 및 목표

• 비음수 행렬 분해(NMF)에서 모델 순서 K를 올바르게 선택하는 데 있어 데이터 적합도와 과적합 간의 균형을 맞추는 데 도전하는 것.
• β-분산 비용 함수 가족을 사용하여 NMF에 대한 베이지안 프레임워크를 개발하고 자동 관련성 결정(ARD)을 가능하게 하는 것.
• W, H, K를 동시에 추정할 수 있는 계산적으로 효율적이고 단조 감소하는 주요화-최소화(MM) 알고리즘을 설계하는 것.
• β를 통해 탄력적인 잡음 모델을 통합함으로써 음악, 이미지, 금융 시계열과 같은 실제 데이터에 대한 강인성과 성능을 향상시키는 것.
• 기존의 히우리스틱 또는 샘플링 기반 방법보다 뛰어난 원칙적인 통합적 접근을 통해 모델 순서 선택을 제공하는 것.

제안 방법

• W의 열과 H의 행을 동일한 척도 매개변수로 연결한 베이지안 NMF 모델을 설정하여 ARD를 가능하게 한다.
• 탄력적인 비용 함수로 β-분산을 사용하며, 유클리드, 칼람브레르-라이블러, 이타쿠라-사이토 분산을 포함한다.
• 목적 함수가 매 반복에서 단조 감소하도록 보장하는 주요화-최소화(MM) 알고리즘의 가족을 유도한다.
• 보조 함수를 사용하여 목적 함수의 국소 상한을 구성함으로써, F, K, N에 대해 선형 복잡도를 가지는 곱셈형 업데이트 규칙을 도출한다.
• 척도 매개변수를 통한 군집 스파arsity 정규화를 적용하여 추론 과정에서 관련이 없는 성분을 0으로 향하게 한다.
• 분산 매개변수 φ에 대해 특히 F + N에 비해 작은 값 a를 고려하여 데이터 기반의 적응형 초모수 선택 방법을 도입한다.

실험 결과

연구 질문

• RQ1 β-분산을 사용한 NMF에 자동 관련성 결정(ARD)을 효과적으로 적용하여 자동 모델 순서 선택이 가능한가?
• RQ2 다양한 데이터 유형에서 제안된 ARD-NMF 프레임워크가 표준 NMF 및 기타 모델 순서 선택 기법과 비교해 어떻게 성능을 내는가?
• RQ3 β-분산의 유연성이 다양한 잡음 모델에서 요인 분해 품질과 강인성을 향상시키는 데 어느 정도 기여하는가?
• RQ4 MM 기반 최적화 프레임워크는 계산 효율성을 유지하면서도 단조 수렴을 보장할 수 있는가?
• RQ5 결측 데이터를 다룰 때의 성능은 주식 가격 예측 작업을 통해 어떻게 평가되는가?

주요 결과

• ℓ2-ARD 방법은 주식 가격 예측에서 약 0.2의 NKLD를 기록하여, 모든 K 값에서 0.23 이상의 NKLD를 기록한 표준 KL-NMF보다 뚜렷이 뛰어난 성능을 보였다.
• 동일한 작업에서 ℓ1-ARD는 K_eff = 5일 때 약 0.23의 NKLD를 기록하여, 더 적은 성분을 유지함에도 불구하고 KL-NMF( NKLD ≈ 0.25)를 능가하는 성능을 보였다.
• 모멘트 방법을 통해 초모수를 효과적으로 데이터 기반으로 선택할 수 있었으며, F + N에 비해 작은 값 a를 추천하는 것이 바람직하다.
• 수영 선수 데이터셋과 음악 분해 작업에서 제안된 알고리즘이 정확한 모델 순서를 복원하고 기준 방법들보다 더 높은 품질의 분해를 생성했다.
• ℓ2-ARD 방법은 다양한 β 및 φ 값에 대해 강인했으며, 예측 작업에서 β = 0.5 및 φ = 10이 최고의 성능을 보였다.
• 결측 데이터를 고려한 Mørup & Hansen의 방법 버전보다도 성능이 뛰어나 평균 NKLD 0.37 ± 0.03을 기록하여 낮은 데이터 적합도를 보였다.