[논문 리뷰] Collectively Embedding Multi-Relational Data for Predicting User Preferences

Nitish Gupta, Sameer Singh|arXiv (Cornell University)|2015. 04. 23.

Recommender Systems and Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 사용자, 항목, 관계 데이터(예: 리뷰, 카테고리, 속성)를 공유되는 저차원 공간에 함께 통합하여 사용자 선호도 예측을 향상시키는 집합적 행렬 분해 모델을 제안한다. 다양한 관계 간에 공유되는 임베딩을 학습함으로써 이질적이고 불완전하며 노이즈가 많은 증거를 효과적으로 통합하여, 아마존 및 양핑 데이터셋에서 평점 예측 정확도 향상, 뛰어난 콜드스타트 성능, 그리고 결측 데이터의 동시 시각화 및 보정을 가능하게 한다.

ABSTRACT

Matrix factorization has found incredible success and widespread application as a collaborative filtering based approach to recommendations. Unfortunately, incorporating additional sources of evidence, especially ones that are incomplete and noisy, is quite difficult to achieve in such models, however, is often crucial for obtaining further gains in accuracy. For example, additional information about businesses from reviews, categories, and attributes should be leveraged for predicting user preferences, even though this information is often inaccurate and partially-observed. Instead of creating customized methods that are specific to each type of evidences, in this paper we present a generic approach to factorization of relational data that collectively models all the relations in the database. By learning a set of embeddings that are shared across all the relations, the model is able to incorporate observed information from all the relations, while also predicting all the relations of interest. Our evaluation on multiple Amazon and Yelp datasets demonstrates effective utilization of additional information for held-out preference prediction, but further, we present accurate models even for the cold-starting businesses and products for which we do not observe any ratings or reviews. We also illustrate the capability of the model in imputing missing information and jointly visualizing words, categories, and attribute factors.

연구 동기 및 목표

• 기존 행렬 분해 기법이 결함이 있거나 노이즈가 많고 이질적인 관계 데이터를 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 각 데이터 유형에 맞는 맞춤형 모델이 필요하지 않은 일반적이고 도메인 독립적인 방법을 개발하여 여러 관계(예: 평점, 리뷰, 카테고리, 속성)를 동시에 모델링하기 위해.
• 관찰된 평점이 적거나 전혀 없는 사용자 및 항목의 예측 정확도를 향상시키기 위해, 특히 콜드스타트 상황에서 성능을 개선하기 위해.
• 서로 다른 엔티티 유형(예: 단어, 카테고리, 속성)을 공유 임베딩 공간에서 의미 있는 방식으로 동시에 추론하고 시각화하기 위해.
• 모든 관계에 걸쳐 공유 임베딩을 활용하여 관계 데이터의 결측치를 보정할 수 있도록 지원하기 위해.

제안 방법

• 모델은 모든 엔티티(사용자, 항목, 단어, 카테고리, 속성)를 다중 관계 간에 공유되는 저차원 임베딩으로 학습하기 위해 집합적 행렬 분해를 사용한다.
• 각 관계의 예측은 관련 엔티티의 임베딩 간의 내적곱을 로지스틱/시그모이드 함수의 입력으로 사용한다.
• 스토하스틱 그래디언트 하강법(SGD)을 사용하여 모델 파라미터를 최적화함으로써 대규모 데이터셋에 대한 확장성을 확보한다.
• 이중 관계를 넘어서서 다중 값 속성을 다중 이중 관계로 모델링하고, 텐서 분해를 통해 n차원 관계를 지원함으로써 다중 관계 확장이 가능하다.
• 엔티티 간 유사도는 직접 연결된 바 없더라도 공유 임베딩 공간에서 직접 계산할 수 있다.
• 새로운 데이터 유형을 데이터베이스에 새로운 관계를 추가함으로써 재학습 없이도 자연스럽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 통합된 모델이 기존의 행렬 분해 기법을 초월하여 다양한, 불완전하고 노이즈가 많은 관계 데이터를 함께 학습하여 사용자 선호도 예측 성능을 향상시킬 수 있는가?
• RQ2 관찰된 평점이나 리뷰가 전혀 없는 신규 또는 콜드스타트 항목의 선호도를 얼마나 정확하게 예측할 수 있는가?
• RQ3 속성이나 카테고리와 같은 관계 데이터의 결측치를 얼마나 잘 보정할 수 있는가?
• RQ4 학습된 임베딩이 의미적으로 다를 수 있는 엔티티 유형(예: 단어, 카테고리, 속성)을 함께 의미 있는 방식으로 시각화할 수 있는가?
• RQ5 아마존 및 양핑과 같은 대규모 실세계 다중관계 데이터셋에서 모델 성능이 어떻게 확장되는가?

주요 결과

• 집합적 인수 분해 모델은 리뷰, 카테고리, 속성과 같은 추가적인 관계적 증거를 효과적으로 활용하여 사용자 선호도 예측 정확도를 크게 향상시킨다.
• 모델은 콜드스타트 상황에서 뛰어난 성능을 보이며, 관찰된 평점이나 리뷰가 전혀 없는 신규 사업체나 제품의 평점을 정확하게 예측할 수 있다.
• 모델은 공유 임베딩을 활용하여 관계 데이터의 결측치(예: 관측되지 않은 속성 또는 카테고리)를 성공적으로 보정할 수 있다.
• 공유된 2차원 임베딩 공간에서 카테고리, 속성, 리뷰 단어를 동시에 시각화하면 원본 데이터에 존재하지 않았던 의미적 군집과 암묵적인 관계가 명확하게 드러난다.
• 모델는 아마존 및 양핑에서 온 26개의 다중관계 데이터셋에 걸쳐 대규모 실세계 데이터셋에 효과적으로 확장되며 뛰어난 성능을 보인다.
• 텐서 분해와 관계별 잠재 요인을 통해 n차원 및 다중 값 관계에 대한 확장성이 보장되어 복잡한 데이터베이스 스키마를 모델링할 수 있다.