[논문 리뷰] Macau: Scalable Bayesian Multi-relational Factorization with Side Information using MCMC

Jaak Simm, Ádám Arany외 6명|arXiv (Cornell University)|2015. 09. 15.

Topic Modeling참고 문헌 6인용 수 23

한 줄 요약

마카오는 MCMC 샘플링을 사용하여 부가 정보(엔티티 및 관계 특징)를 통합하는 확장 가능한 베이지안 다중관계 요인 분해 방법을 제안한다. 이는 수백만 개의 엔티티와 관측치를 포함하는 대규모 희소 데이터에서 효율적인 추론을 가능하게 하며, 약물-단백질 활성 예측 및 행렬 분해 벤치마크에서 최신 기술을 초월하는 성능을 달성한다. 이는 특징 추론을 위해 노이즈 주입 견고한 기반의 게이브스 샘플링을 활용한다.

ABSTRACT

We propose Macau, a powerful and flexible Bayesian factorization method for heterogeneous data. Our model can factorize any set of entities and relations that can be represented by a relational model, including tensors and also multiple relations for each entity. Macau can also incorporate side information, specifically entity and relation features, which are crucial for predicting sparsely observed relations. Macau scales to millions of entity instances, hundred millions of observations, and sparse entity features with millions of dimensions. To achieve the scale up, we specially designed sampling procedure for entity and relation features that relies primarily on noise injection in linear regressions. We show performance and advanced features of Macau in a set of experiments, including challenging drug-protein activity prediction task.

연구 동기 및 목표

• 텐서, 다중 관계, 부가 정보를 지원하는 통합 베이지안 프레임워크를 개발하는 것.
• 수백만 개의 엔티티, 수천만 건의 관측치, 고차원적 희소 특징을 포함하는 데이터셋에 대해 베이지안 요인 분해를 확장하는 것.
• 엔티티 및 관계 특징을 체계적인 확률적 접근법을 통해 통합함으로써 희소하게 관측된 관계에서의 예측 성능을 향상시키는 것.
• 노이즈 주입 및 병렬화된 샘플링 절차를 활용하여 대규모 데이터에서 효율적인 MCMC 추론을 가능하게 하는 것.

제안 방법

• 마카오는 엔티티를 노드로, 관계를 초간선으로 하는 하이퍼그래프로 데이터를 모델링하여 텐서 및 엔티티 쌍 간의 다중 관계를 지원한다.
• 잠재 요인에 대해 공액 사전분포를 사용하고 평균 및 정밀도 행렬에 대해 초모수를 설정하는 완전한 베이지안 계층 모델을 적용한다.
• 특히 희소 설정에서 고차원 엔티티 및 관계 특징을 효율적으로 샘플링하기 위해 새로운 노이즈 주입 견고한 기반의 게이브스 샘플링 절차를 사용한다.
• 특징 추론을 위해 공액 경사하강법 해법기를 사용하는 반복 선형 회귀를 적용하여 다중 코어 및 노드 간 병렬 처리를 가능하게 한다.
• 밀도 있는 특징과 희소한 특징을 모두 지원하며, 저차원 특징에는 직접 해법기를, 고차원 희소 특징에는 공액 경사하강법을 사용한다.
• 잠재 요인, 특징 계수, 초모수에 대한 MCMC 추론을 수행하며, 불확실성 정량화를 위한 전체 사후 분포 샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 베이지안 다중관계 요인 분해 모델은 희소하게 관측된 관계에서 예측 성능을 향상시키기 위해 엔티티 및 관계 특징을 효과적으로 통합할 수 있는가?
• RQ2 고차원 희소 특징을 가진 수백만 개의 엔티티와 관측치를 처리하기 위해 MCMC 기반 추론을 어떻게 확장할 수 있는가?
• RQ3 예를 들어 IC50 및 Ki와 같은 다중 관계 유형을 통합하면 약물-단백질 상호작용 모델링에서 예측 성능이 향상되는가?
• RQ4 다양한 관계나 특징을 추가할 때 잠재 차원 수가 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 실제 대규모 데이터셋에서 기존 최신 기술의 행렬 분해 접근법을 초월할 수 있는가?

주요 결과

• 마카오는 영화 추천 벤치마크에서 BPMF를 능가하며, 특히 희소하게 관측된 관계에서 부가 정보의 영향을 크게 받는다.
• IC50+Ki 모델(두 가지 다른 생화학적 상호작용 유형을 통합)은 단일 관계인 IC50 모델보다 유의미하게 뛰어난 성능을 보이며(p < 0.0001).
• IC50+Pheno 모델(표형 검사 데이터를 추가)은 충분한 잠재 차원 수(D ≥ 30)를 사용할 경우 IC50 전용 모델보다 예측 정확도가 향상된다.
• D=10일 경우 IC50+Pheno 모델은 성능이 열 劣화되며, 이는 복잡한 관계를 추가할 때 충분한 잠재 능력이 없으면 성능 저하가 발생할 수 있음을 시사한다.
• 180만 개의 화합물과 1,000개의 단백질을 포함하는 대규모 산업 데이터셋에서, 마카오는 15개 노드를 사용해 고차원 희소 특징(400만 차원, 0.002% 희소성)에 대해 약 600초 내로 1,000회의 게이브스 반복을 완료한다.
• 중간 수준의 특징 차원 수(F_e ≈ 6,000)에서는 8개 코어에서 전체 게이브스 단계가 약 40초 내로 완료되어 효율적인 병렬 처리를 입증한다.