[논문 리뷰] Flexible and Hierarchical Prior for Bayesian Nonnegative Matrix Factorization

Jun Lü, Xuanyu Ye|arXiv (Cornell University)|2022. 05. 23.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 유연한 계층적 사전분포를 사용하여 잠재 요인의 비음성(Nonnegativity)을 강제하는 새로운 베이지안 비음수 행렬 분해 모델인 GRRN을 제안한다. 이 방법은 MovieLens 100K 및 1M과 같은 희박한 데이터셋에서 예측 정확도를 향상시키고 과적합을 줄이며, 특히 데이터 희박성이 높고 모델 복잡도가 증가할 경우 기존의 베이지안 및 비확률적 NMF 방법들을 능가한다.

ABSTRACT

In this paper, we introduce a probabilistic model for learning nonnegative matrix factorization (NMF) that is commonly used for predicting missing values and finding hidden patterns in the data, in which the matrix factors are latent variables associated with each data dimension. The nonnegativity constraint for the latent factors is handled by choosing priors with support on the nonnegative subspace. Bayesian inference procedure based on Gibbs sampling is employed. We evaluate the model on several real-world datasets including MovieLens 100K and MovieLens 1M with different sizes and dimensions and show that the proposed Bayesian NMF GRRN model leads to better predictions and avoids overfitting compared to existing Bayesian NMF approaches.

연구 동기 및 목표

• 협업 필터링 및 요인 분석을 위한 베이지안 NMF에서의 초모수 선택 문제를 해결하기 위해.
• 경계 조건이 아닌 사전 분포를 통해 자연스럽게 비음성을 강제하는 확률적 NMF 프레임워크를 개발하기 위해.
• 특히 데이터가 매우 불완전할 경우에도 일반화 성능을 향상시키고 과적합을 줄이기 위해.
• 다양한 데이터 희박성과 잠재 차원 수에 걸쳐 뛰어난 성능을 보이며 계산적으로 효율적이고 해석 가능한 베이지안 NMF 방법을 제공하기 위해.

제안 방법

• 잠재 요소들이 반직선 정규분포(Recall-normal)에서 추출되도록 계층적 사전분포 구조를 사용하여 비음성을 보장한다.
• 비음성을 명시적 제약 조건이 아닌 사전 선택을 통해 강제함으로써, 게이브스 샘플링을 통한 완전한 베이지안 추론이 가능해진다.
• 관측된 항목들만을 대상으로 가능도를 정의하며, 손실 함수에서 누락된 데이터를 제외하기 위해 마스크 행렬을 사용한다.
• 완전히 명시된 그래픽 모델을 사용하며, 공액 사전분포로부터 유도된 조건부 분포를 통해 효율적인 게이브스 샘플링을 수행한다.
• 반직선 정규분포의 척도 매개변수에 초모수를 포함하여 자동 정규화와 해석 가능성을 가능하게 한다.
• 추론 절차는 게이브스 샘플링을 통해 잠재 요소의 사후분포를 계산하여 불확실성 정량화와 체계적인 모델 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비음수 행렬 분해에서 사전분포를 사용하여 비음성 조건을 더 자연스럽고도 영리하게 강제할 수 있는가?
• RQ2 계층적 사전분포 구조가 특히 높은 데이터 희박성 하에서 일반화 성능 향상과 과적합 감소에 기여하는가?
• RQ3 실제 희박한 데이터셋에서 기존의 베이지안 및 비확률적 NMF 방법과 비교해 볼 때, 제안된 GRRN 모델의 예측 성능는 어떠한가?
• RQ4 반직선 정규 사전분포의 사용이 기존의 공액 사전분포보다 수렴성과 샘플 외 성능 측면에서 더 나은 성능을 보이는가?

주요 결과

• GRRN 모델은 검증 세트에서 가장 낮은 평균제곱오차(MSE)를 기록하며, 특히 희박성이 높을 경우에도 안정적인 성능을 보인다. MovieLens 100K에서 관측되지 않은 데이터 비율이 98%에 이르더라도 MSE는 1.05로 유지된다.
• 관측되지 않은 데이터 비율이 97%일 경우, GRRN의 MSE는 1.05이며, GTTN 및 GTT 모델은 상당히 열 劣한 성능(각각 5452.18 및 2650.21)을 보인다.
• 잠재 차원 수 K가 20에서 50으로 증가함에 따라 GRRN 모델은 뛰어난 샘플 외 성능을 유지하며, 모델 복잡도에 대한 강건성을 보여준다.
• 비확률적 NMF와는 달리, GRRN은 다양한 희박성 수준과 데이터셋 크기에서 일관된 성능을 보이며 과적합이 쉽게 발생하지 않는다.
• GEE에 비해 더 뛰어난 수렴성과 내측 성능을 보이며, 비록 내측 적합도는 더 좋지만 과적합 문제를 야기하는 GEE와는 대조된다.
• 계층적 사전분포 구조는 안정적인 성능을 통해 더 나은 일반화 성능을 가능하게 하며, 관측되지 않은 데이터 비율이 97%와 98%일 경우에도 성능이 안정되어 있어 과적합 감소를 시사한다.