[논문 리뷰] Prior and Likelihood Choices for Bayesian Matrix Factorisation on Small Datasets

Thomas Brouwer, Píetro Lió|arXiv (Cornell University)|2017. 12. 01.

Bayesian Methods and Mixture Models인용 수 6

한 줄 요약

이 논문은 소규모 데이터셋에서 베이지안 행렬 분해의 이전 및 우도 선택을 체계적으로 평가하며, 네 가지 모델 그룹을 비교한다: 실수값 또는 비음수 이전을 가진 가우시안 우도, 반비음수 모델, 그리고 포아송 우도 모델. 포아송 모델은 수렴이 불량하고 과적합이 발생함으로써 소규모 데이터셋에서 성능이 열 劣하며, 비음수 모델은 희소성과 노이즈에 더 강건하며, 계층적 이전은 고차원 인수분해에서 일반화 능력을 크게 향상시킨다.

ABSTRACT

In this paper, we study the effects of different prior and likelihood choices for Bayesian matrix factorisation, focusing on small datasets. These choices can greatly influence the predictive performance of the methods. We identify four groups of approaches: Gaussian-likelihood with real-valued priors, nonnegative priors, semi-nonnegative models, and finally Poisson-likelihood approaches. For each group we review several models from the literature, considering sixteen in total, and discuss the relations between different priors and matrix norms. We extensively compare these methods on eight real-world datasets across three application areas, giving both inter- and intra-group comparisons. We measure convergence runtime speed, cross-validation performance, sparse and noisy prediction performance, and model selection robustness. We offer several insights into the trade-offs between prior and likelihood choices for Bayesian matrix factorisation on small datasets - such as that Poisson models give poor predictions, and that nonnegative models are more constrained than real-valued ones.

연구 동기 및 목표

• 소규모 데이터셋에서 다양한 이전 및 우도 선택을 가진 베이지안 행렬 분해 모델 간의 체계적 비교가 부족한 점을 보완한다.
• 실수값/가우시안, 비음수/가우시안, 반비음수/가우시안, 포아송 우도 모델의 네 가지 구체적인 모델 그룹을 식별하고 평가한다.
• 다양한 실제 데이터셋에서 예측 성능, 수렴 속도, 희소성과 노이즈에 대한 강건성, 모델 선택의 안정성 등을 평가한다.
• 생물정보학, 약물 반응, 협업 필터링 등의 분야에서 소규모 데이터 시나리오에 적합한 모델 선택을 위한 실질적인 통찰을 제공한다.
• 복잡한 비모수적 변형(추론에 의존하는 성능)을 배제하고, 매개변수 모델에 집중하여 우도와 이전 선택의 영향을 고립적으로 분석한다.

제안 방법

• 실수값/가우시안, 비음수/가우시안, 반비음수/가우시안, 포아송 우도 모델의 네 그룹으로 구성된 총 16개의 베이지안 행렬 분해 모델을 체계적으로 비교한다.
• 후행 분포를 근사하기 위해 변분 추론 또는 마르코프 체인 몬테카를로 방법을 적용하며, 가능하면 공액 이전을 사용한다.
• 자동 관련 결정(ARD), 위샤트, 라플라스, 감마 초모수를 포함한 다양한 계층적 이전을 사용하여 과적합과 일반화 능력에 미치는 영향을 평가한다.
• 약물 민감도(GDSC), 협업 필터링(MovieLens), 메틸화 발현(GM 데이터셋)의 세 영역에서 온 여덟 개의 실제 데이터셋을 대상으로 교차 검증을 수행한다.
• 제어 조건 하에서 성능을 측정한다: 노이즈 수준, 데이터 희소성, 인수분해 질수 $K$ 를 변화시키며, 주요 평가 지표로 평균 제곱 오차(MSE)를 사용한다.
• 예측 성능을 평가하기 위해 $K$ 를 변화시키고 보류된 테스트 세트에서 성능을 측정하여 과적합 경향을 분석하는 모델 선택 실험을 수행한다.

실험 결과

연구 질문

• RQ1 소규모 데이터셋에서의 베이지안 행렬 분해에서, 가우시안과 포아송 우도 함수의 차이는 예측 성능에 어떤 영향을 미치는가?
• RQ2 실수값, 비음수, 계층적 이전 등의 이전 분포는 소규모 데이터 환경에서 모델 수렴, 노이즈에 대한 강건성, 과적합에 어떤 영향을 미치는가?
• RQ3 희소성과 노이즈 하에서 반비음수 모델과 완전 실수값 모델은 예측 정확도와 안정성 측면에서 어떻게 비교되는가?
• RQ4 인수분해 질수 $K$ 가 증가함에 따라 ARD, 위샤트, 라플라스 등의 계층적 이전이 모델 일반화 능력 향상과 과적합 감소에 얼마나 기여하는가?
• RQ5 소규모 데이터셋에서의 베이지안 행렬 분해에 대해 단변량 및 다변량 후행 근사가 예측 성능에서 동일한가?

주요 결과

• 포아송 우도 모델은 소규모 데이터셋에서 항상 가우시안 우도 모델보다 성능이 열 劣하며, 교차 검증 성능이 열 떨어지고, 노이즈에 더 민감하며, 특히 낮은 희소성 수준에서 수렴 속도가 느리다.
• 비음수 행렬 분해 모델은 실수값 모델보다 더 제약이 많아, 높은 희소성 하에서 더 얕은 수렴과 과적합 감소를 보이나, 적절한 계층적 이전(예: 위샤트 또는 ARD)을 사용하면 이 격차를 메울 수 있다.
• 반비음수 모델(GEG, GVnG 등)은 그 실수값 대응 모델(GGG, GVG 등)과 예측 성능에서 동일하게 나타나, 부분적인 비음수 제약에서 유의미한 이점이나 열점이 없음을 시사한다.
• 단변량 및 다변량 후행 근사는 동일한 예측 성능을 보이며, 이는 이 맥락에서 전체 공분산 구조를 모델링하는 것이 정확도 향상에 기여하지 않는다는 것을 의미한다.
• ARD 및 위샤트와 같은 계층적 이전은 인수분해 질수 $K$ 가 증가함에 따라 과적합을 크게 감소시키며, 고차원 설정에서도 안정적인 성능을 유지한다. 반면, 표준 모델(GGG, GEE)은 빠르게 과적합된다.
• 라플라스 이전 역시 추가 계층적 구조 없이도 과적합을 효과적으로 줄이며, 일부 계층적 이전(GLLI, GTTN, PGGG 등)은 성능 차이가 미미하여 실무에서 초모수 튜닝에 대한 민감도가 낮음을 시사한다.