[논문 리뷰] Coupled Compound Poisson Factorization

Mehmet Emin Basbug, Barbara E. Engelhardt|arXiv (Cornell University)|2017. 01. 09.

Bayesian Methods and Mixture Models참고 문헌 16인용 수 4

한 줄 요약

이 논문은 극도로 희박한 데이터셋에서 무시할 수 없는 누락 데이터를 모델링하기 위해 계층적 복합 포아송 인수분해를 누락성 인코딩 모델로 사용하고, 임의의 데이터 생성 모델(예: 정규분포 혼합 모델, 선형 회귀, 행렬 인수분해)과 결합하는 CCPF(Coupled Compound Poisson Factorization) 프레임워크를 제안한다. 이 방법은 스토하스틱 변분 추론을 통해 누락 데이터 메커니즘을 명시적으로 모델링함으로써 테스트 로그 우도와 예측 성능을 크게 향상시킨다.

ABSTRACT

We present a general framework, the coupled compound Poisson factorization (CCPF), to capture the missing-data mechanism in extremely sparse data sets by coupling a hierarchical Poisson factorization with an arbitrary data-generating model. We derive a stochastic variational inference algorithm for the resulting model and, as examples of our framework, implement three different data-generating models---a mixture model, linear regression, and factor analysis---to robustly model non-random missing data in the context of clustering, prediction, and matrix factorization. In all three cases, we test our framework against models that ignore the missing-data mechanism on large scale studies with non-random missing data, and we show that explicitly modeling the missing-data mechanism substantially improves the quality of the results, as measured using data log likelihood on a held-out test set.

연구 동기 및 목표

• 협업 필터링 및 행렬 인수분해와 같은 분야에서 극도로 희박한 데이터셋에서 비랜덤이고 무시할 수 없는 누락 데이터의 과제를 해결한다.
• 누락 데이터 메커니즘을 무시하는 것 대신 명시적으로 모델링하는 통합된 확률적 프레임워크를 개발한다.
• 누락성 메커니즘을 데이터 생성 모델에 통합함으로써 클러스터링, 예측 및 행렬 인수분해의 추론 품질을 향상시킨다.
• 누락 데이터 메커니즘을 모델링할 경우 실세계의 희박한 데이터셋에서 테스트 로그 우도와 예측 성능에 상당한 향상이 있음을 입증한다.
• 극도의 희박성과 복잡한 누락 패턴을 가진 대규모 데이터셋에 적합한 확장 가능한 추론 알고리즘을 제공한다.

제안 방법

• 누락성 인코딩 모델로 계층적 복합 포아송 인수분해를 사용하는 결합 모델을 제안하여 누락 항목의 배경 메커니즘을 캡처한다.
• 공동 우도 설정을 통해 누락성 인코딩 모델을 임의의 데이터 생성 모델(GMM, 선형 회귀, PMF, HPF 등)과 통합한다.
• 대규모 환경에서 확장 가능한 사후 추론을 가능하게 하기 위해 스토하스틱 변분 추론(SVI) 알고리즘을 유도한다.
• 계산의 타당성을 확보하기 위해 공액 지수족 사전과 조건부 공액 사후분포를 사용한다.
• 비관측 데이터에 의존하는 누락성 프로세스를 允허함으로써 무시할 수 없는 누락성(NMAR)을 모델링하여 매개변수 추정을 향상시킨다.
• 다양한 모델에 프레임워크를 적용: 클러스터링을 위한 혼합 모델, 예측을 위한 선형 회귀, 협업 필터링을 위한 행렬 인수분해.

실험 결과

연구 질문

• RQ1 희박한 데이터셋에서 누락 데이터 메커니즘을 명시적으로 모델링할 경우 클러스터링, 예측 및 행렬 인수분해 작업에서 성능 향상이 이루어지는가?
• RQ2 누락 데이터 메커니즘을 무시하는 모델과 이를 명시적으로 모델링하는 모델의 성능는 무시할 수 없는 누락성 상황에서 어떻게 비교되는가?
• RQ3 다양한 데이터 생성 모델과 결합된 복합 포아송 인수분해를 통한 누락성 모델링이 테스트 로그 우도와 예측 정확도에 얼마나 기여하는가?
• RQ4 누락 데이터 메커니즘 모델링의 성능 향상은 다양한 데이터 생성 모델(GMM 대비 PMF 대비 회귀)과 데이터 유형(연속형, 이산형, 이진형)에 따라 어떻게 달라지는가?
• RQ5 제안된 프레임워크는 MovieLens, Amazon, Netflix, Yelp와 같은 대규모 실세계 데이터셋에 대해 극도의 희박성에도 효과적으로 확장 가능한가?

주요 결과

• CCPF는 대규모 희박한 데이터셋에서 평가된 모든 모델—혼합 모델, 선형 회귀, 행렬 인수분해—에 대해 테스트 세트 로그 우도를 일관되게 향상시킨다.
• 혼합 모델 설정에서 CCPF-GMM은 Amazon, Netflix, Yelp, GEUVADIS 데이터에서 GMM을 능가하지만, MovieLens에서는 GMM이 약간 더 우수하다.
• 행렬 인수분해에서 CCPF-PMF는 MovieLens, Amazon, Netflix, Yelp에서 가장 높은 테스트 로그 우도를 기록하며, PMF와 HPF보다 명확한 격차를 보였다.
• WordPress 소셜 미디어 데이터셋에서 포아송 기반 모델(HPF 및 CCPF-HPF)이 가우시안 기반 모델(PMF 및 CCPF-PMF)을 능가하여 반응 분포의 일치성이 중요함을 시사한다.
• 선형 회귀에서 CCPF-Regr.는 표준 회귀 모델보다 높은 테스트 로그 우도(-1.907 대비 -1.921)와 낮은 RMSE(1.694 대비 1.731)를 기록했으며, 개선된 $R^2$(0.360 대비 0.333)를 확보했다.
• 결합 효과는 분산 매개변수에 영향을 미치는 모델(예: GMM)에서 가장 두드러지며, 평균 매개변수화 모델(예: PMM)에서는 덜 두드러진다. 이는 메커니즘 결합이 분산 구조에 영향을 미칠 때 가장 효과적임을 시사한다.