[논문 리뷰] Kernelized Bayesian Matrix Factorization

Mehmet Gönen, Suleiman A. Khan외 1명|arXiv (Cornell University)|2012. 11. 06.

Text and Document Classification Technologies참고 문헌 25인용 수 12

한 줄 요약

이 논문은 다중 커널 학습을 통해 다수의 보조 정보 소스를 통합하는 완전 베이지안 커널 기반 행렬 분해 방법을 제안하며, 효율적인 변분 추론과 행렬 외 예측을 가능하게 한다. 이는 약물-단백질 상호작용 예측 및 다중 레이블 분류에서 최신 기술 수준의 성능을 달성하며, 14개의 벤치마크 데이터셋 중 10개에서 다섯 가지 기준선보다 낮은 하밍 손실을 기록한다.

ABSTRACT

We extend kernelized matrix factorization with a fully Bayesian treatment and with an ability to work with multiple side information sources expressed as different kernels. Kernel functions have been introduced to matrix factorization to integrate side information about the rows and columns (e.g., objects and users in recommender systems), which is necessary for making out-of-matrix (i.e., cold start) predictions. We discuss specifically bipartite graph inference, where the output matrix is binary, but extensions to more general matrices are straightforward. We extend the state of the art in two key aspects: (i) A fully conjugate probabilistic formulation of the kernelized matrix factorization problem enables an efficient variational approximation, whereas fully Bayesian treatments are not computationally feasible in the earlier approaches. (ii) Multiple side information sources are included, treated as different kernels in multiple kernel learning that additionally reveals which side information sources are informative. Our method outperforms alternatives in predicting drug-protein interactions on two data sets. We then show that our framework can also be used for solving multilabel learning problems by considering samples and labels as the two domains where matrix factorization operates on. Our algorithm obtains the lowest Hamming loss values on 10 out of 14 multilabel classification data sets compared to five state-of-the-art multilabel learning algorithms.

연구 동기 및 목표

• 효율적인 추론과 행렬 외 예측을 가능하게 하는 커널 기반 행렬 분해에 대한 완전 베이지안 처리 방법을 개발하는 것.
• 다중 커널 학습을 사용하여 행과 열 도메인 양쪽 모두의 다수의 보조 정보 소스를 통합하는 것.
• 약물-단백질 상호작용 네트워크와 같은 비이분할 그래프 추론 작업에서 효과적인 예측을 가능하게 하는 것.
• 표본과 레이블을 행렬 분해의 두 도메인으로 간주하여 다중 레이블 학습으로 프레임워크를 확장하는 것.
• 생물학적 상호작용 예측 및 다중 레이블 분류 모두에서 기존 최신 기술 수준의 방법들을 능가하는 성능을 달성하는 것.

제안 방법

• 효율적인 변분 추론을 가능하게 하는 새로운 완전 공액 확률 모델을 제안하는 것으로, 커널 기반 행렬 분해를 위한 것이다.
• 다양한 보조 정보 소스를 행과 열에 대해 별도의 커널 함수로 통합하기 위해 다중 커널 학습을 사용한다.
• 이전의 MAP 기반 접근 방식의 계산적 제약을 극복하기 위해 확장 가능한 베이지안 추론을 수행하기 위해 변분 근사 기법을 적용한다.
• 측정된 잠재 성분에 과거 기반의 가우시안 프로세스 사전분포를 적용하며, 레이블 유사도에 대한 자카르 지수와 같은 측정 기반의 커널 함수를 사용한다.
• 표본과 레이블의 커널 행렬을 통합하여 다중 레이블 설정에서 비선형 관계와 상관관계 모델링을 가능하게 한다.
• 교차 검증을 통해 훈련 성능 기반으로 잠재 성분 수 R을 선택하며, 최대 15개 성분까지 허용한다.

실험 결과

연구 질문

• RQ1 공액 사전분포와 변분 근사를 통해 커널 기반 행렬 분해의 완전 베이지안 공식화가 계산적으로 실현 가능하게 할 수 있는가?
• RQ2 다중 커널 학습을 통해 다양한 보조 정보 소스를 효과적으로 행렬 분해에 통합하여 예측 성능를 향상시킬 수 있는가?
• RQ3 제안된 방법이 이전에 보지 못한 행 또는 열에 대해 정확한 행렬 외 예측을 가능하게 하는가?
• RQ4 표본과 레이블을 행렬 분해의 두 도메인으로 간주함으로써 다중 레이블 분류로 프레임워크를 일반화할 수 있는가?
• RQ5 생물학적 상호작용 예측 및 다중 레이블 분류 모두에서 기존 알고리즘과 비교해 최신 기술 수준의 성능를 달성하는가?

주요 결과

• 제안된 KBMF 방법은 14개의 다중 레이블 분류 데이터셋 중 10개에서 가장 낮은 하밍 손실을 기록하며, 다섯 가지 최신 기술 수준 알고리즘을 능가한다.
• 두 개의 약물-단백질 상호작용 데이터셋에서 KBMF는 미지의 상호작용을 예측하는 데 있어 다른 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 변분 추론 기법은 전체 베이지안 추론의 증가된 계산 복잡도에도 불구하고, 주 등재 등재(2012)의 MAP 기반 접근보다 더 빠른 완전 베이지안 처리를 가능하게 했다.
• 다중 커널 학습은 유용한 보조 정보 소스를 드러내며, 커널 가중치는 다양한 데이터 유형의 관련성을 나타낸다.
• 기존에 보지 못한 개체에 대해 보조 정보의 커널 기반 유사도를 활용함으로써 냉시작 예측을 성공적으로 처리한다.
• 커널 기반 레이블 유사도를 통해 관련 레이블 집합에서의 성능 향상을 가능하게 하여, 다중 레이블 학습으로의 프레임워크 일반화가 효과적으로 이루어졌다.