[논문 리뷰] Group-sparse Embeddings in Collective Matrix Factorization

Arto Klami, Guillaume Bouchard외 1명|Työväentutkimus Vuosikirja|2013. 12. 20.

Recommender Systems and Techniques참고 문헌 23인용 수 27

한 줄 요약

이 논문은 집단별 희소성과 자동 관련성 결정(ARD)을 통해 각 행렬이 다른 행렬과 독립적인 사전 정의된 저랭크 인자 구조를 가질 수 있도록 허용하는 베이지안적 접근인 그룹 희소 집단 행렬 분해(gCMF)를 제안한다. 이 방법은 조정 없이도 공유 인자와 비공유 인자를 자동으로 식별하며, 추천 시스템과 다중 시각 학습에서 표준 CMF보다 뛰어난 성능을 보이며, 혼합된 데이터 유형과 누락된 데이터를 효율적으로 처리한다.

ABSTRACT

CMF is a technique for simultaneously learning low-rank representations based on a collection of matrices with shared entities. A typical example is the joint modeling of user-item, item-property, and user-feature matrices in a recommender system. The key idea in CMF is that the embeddings are shared across the matrices, which enables transferring information between them. The existing solutions, however, break down when the individual matrices have low-rank structure not shared with others. In this work we present a novel CMF solution that allows each of the matrices to have a separate low-rank structure that is independent of the other matrices, as well as structures that are shared only by a subset of them. We compare MAP and variational Bayesian solutions based on alternating optimization algorithms and show that the model automatically infers the nature of each factor using group-wise sparsity. Our approach supports in a principled way continuous, binary and count observations and is efficient for sparse matrices involving missing data. We illustrate the solution on a number of examples, focusing in particular on an interesting use-case of augmented multi-view learning.

연구 동기 및 목표

• 기존 집단 행렬 분해(CMF) 방법이 모든 인자를 모든 행렬 간에 공유한다고 가정하는 한계를 해결하기 위해.
• 특히 시각 전용 노이즈 또는 비공유 인자를 포함한 경우, 각 행렬이 다른 이들과 공유되지 않는 독립적인 저랭크 구조를 가질 수 있도록 하기 위해.
• 집단별 희소성과 함께 자동 관련성 결정(ARD)을 사용하여 각 인자의 성격(공유 또는 비공유)을 자동으로 추론하는 원칙적인 베이지안 해법을 개발하기 위해.
• 연속형, 이진형, 카운트 유형의 다양한 데이터 유형을 통합된 프레임워크 내에서 지원하기 위해.
• 희소 정규화를 통한 구조적 사전 정보를 통합하여 다중 시각 학습과 추천 시스템에서 성능을 향상시키기 위해.

제안 방법

• 다양한 입력 행렬로 구성된 큰 정사각형 행렬에 대해 대칭적 분해를 제안하여 공유 및 비공유 인자를 동시에 학습할 수 있도록 한다.
• 각 엔터티 유형별로 인자 활성도를 제어하기 위해 자동 관련성 결정(ARD)을 활용한 집단별 희소성 정규화를 구현한다.
• 후행 분포와 초모수를 추정하기 위해 교차 최적화를 사용하는 변분 베이지안 추론 프레임워크를 사용한다.
• 연속형, 이진형, 카운트 관측치를 유연하게 모델링할 수 있도록 가우시안, 베르누이, 포아송 등 다양한 가능도 모델을 지원한다.
• 모델에 명시적인 바이어스 항을 도입하여 추천 시스템의 콜드 스타트 문제에서 성능을 향상시킨다.
• 비교를 위해 볼록 최적화를 사용하며, 변분 베이지안 해법이 이전 볼록 형식에서 요구하는 초모수 조정이 필요로 하지 않는다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 수동 조정 없이도 집단 행렬 분해 모델이 모든 행렬에 공유되는 인자와 일부 행렬에만 소속된 비공유 인자를 자동으로 식별할 수 있는가?
• RQ2 개별 행렬이 서로 다른 저랭크 구조를 가질 경우, ARD를 통한 집단별 희소성이 인자 분해 성능을 어떻게 향상시키는가?
• RQ3 바이어스 항의 포함이 추천 시스템의 콜드 스타트 시나리오에서 성능을 어느 정도 향상시키는가?
• RQ4 제안된 모델이 연속형, 이진형, 카운트 유형의 혼합된 데이터 유형을 통합된 프레임워크 내에서 효과적으로 처리할 수 있는가?
• RQ5 추가적인 관계(예: 유전자 간 거리)가 제3의 행렬로 포함될 경우, 다중 시각 학습 작업에서 모델의 성능은 어떻게 되는가?

주요 결과

• gCMF 모델은 MovieLens 및 Flickr 추천 시스템 벤치마크에서 표준 CMF를 능가하며, 바이어스 항이 포함된 경우 RMSE가 낮아지며 정규화 파라미터 조정이 필요로 하지 않는다.
• gCMF는 볼록 CMF(CCMF)와 유사한 성능를 달성하지만 초모수 검증이 필요로 하지 않아 계산 비용을 줄이고 사용성을 향상시킨다.
• 다중 시각 이미지 복원 작업에서, 근접성 기반 보정을 사용할 경우 gCMF 접근법이 예측 오차를 크게 감소시키며, 중간 수준의 이웃 폭에서 최적 성능를 보인다.
• 바이어스 항의 포함은 콜드 스타트 성능을 향상시키며, 특히 MovieLens에서 RMSE를 1.0569(CMF에서 바이어스 없음)에서 0.9475(CMF에서 바이어스 있음)로 감소시키며 gCMF도 동일한 성능를 달성한다.
• 보정 행렬이 거의 모두 1 또는 모두 0이 되면 gCMF는 고전적 다중 시각 학습으로 수렴하며, 극단적 조건에서도 강건성과 일관성을 입증한다.
• gCMF는 모든 데이터셋과 설정에서 CMF를 항상 능가하거나 동등하게 유지하며, 비공유 인자를 允허함으로써 성능이 떨어지는 일은 없고 오히려 향상되는 경우가 많다는 것을 보여준다.