[논문 리뷰] Towards Open-World Recommendation: An Inductive Model-based Collaborative Filtering Approach

Qitian Wu, Hengrui Zhang외 3명|arXiv (Cornell University)|2020. 07. 09.

Recommender Systems and Techniques인용 수 12

한 줄 요약

이 논문은 개방형 추천 시스템에서 새로운 사용자 및 少수 샘플 사용자에 대해 효율적이고 확장 가능하며 고용량의 표현 학습을 가능하게 하는 인덕티브 공동 필터링 프레임워크인 IDCF를 제안한다. 핵심 사용자로부터의 메타-잠재 요소를 기반으로 한 어텐션 기반 메시지 전달을 통해 동적 사용자-사용자 관계 그래프를 학습함으로써, 재학습 없이도 소수 샘플 및 제로 샘플 사용자에서 최신 기술 성능을 달성하며, 높은 희소성 조건에서도 전이형 모델을 능가한다.

ABSTRACT

Recommendation models can effectively estimate underlying user interests and predict one's future behaviors by factorizing an observed user-item rating matrix into products of two sets of latent factors. However, the user-specific embedding factors can only be learned in a transductive way, making it difficult to handle new users on-the-fly. In this paper, we propose an inductive collaborative filtering framework that contains two representation models. The first model follows conventional matrix factorization which factorizes a group of key users' rating matrix to obtain meta latents. The second model resorts to attention-based structure learning that estimates hidden relations from query to key users and learns to leverage meta latents to inductively compute embeddings for query users via neural message passing. Our model enables inductive representation learning for users and meanwhile guarantees equivalent representation capacity as matrix factorization. Experiments demonstrate that our model achieves promising results for recommendation on few-shot users with limited training ratings and new unseen users which are commonly encountered in open-world recommender systems.

연구 동기 및 목표

• 추론 시 새로운, 알려지지 않은 사용자가 나타나는 개방형 환경에서 추천 모델을 구현하는 데 도전한다.
• 재학습 없이 새로운 사용자로 일반화할 수 없는 전이형 공동 필터링의 한계를 극복한다.
• 사용자별 임베딩의 고용량 표현 능력을 유지하면서도 인덕티브 추론을 가능하게 한다.
• 낮은 또는 전혀 기록이 없는 사용자로도 잘 일반화되는 확장 가능하고 효율적인 프레임워크를 개발한다.
• 데이터 기반 방식으로 구조 학습과 메시지 전달을 종합적으로 통합하여 인덕티브 표현 학습을 향상시킨다.

제안 방법

• 핵심 사용자의 부분 집합에 대해 행렬 분해를 사용하여 사용자 선호 패턴을 포괄하는 메타-잠재 표현을 학습한다.
• 쿼리 사용자와 핵심 사용자 간의 숨겨진 종속성을 모델링하기 위해 동적이고 어텐션 기반의 사용자-사용자 관계 그래프를 학습한다.
• 핵심 사용자로부터 쿼리 사용자로 메타-잠재 요소를 전달하기 위해 신경망 기반 메시지 전달을 적용함으로써 인덕티브 방식의 사용자 임베딩 계산을 가능하게 한다.
• 하류 추천 손실에 의해 유도되는 미분 가능한 과정으로 관계 학습을 공식화함으로써, 구조와 표현을 함께 최적화할 수 있도록 한다.
• 관계 모델링의 향상을 위해 그래프 컨볼루션 레이어를 통합한 GNN 기반 변형(IDCF-GC)을 사용하여 메시지 전달을 강화한다.
• 관측된 평가 점수에서 유도된 지도 학습 신호를 사용하여 모델을 종단 간(end-to-end)으로 훈련함으로써, 알려지지 않은 사용자로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표현 용량을 희생시키지 않고도 공동 필터링에서 새로운 사용자에 대해 인덕티브 표현 학습을 달성할 수 있는가?
• RQ2 데이터 기반 방식으로 사용자-사용자 관계를 효과적으로 모델링하여 인덕티브 추론을 지원할 수 있는가?
• RQ3 학습된 관계에 기반한 어텐션 기반 메시지 전달이 소수 샘플 및 제로 샘플 사용자에서 성능 향상에 기여하는가?
• RQ4 높은 평가 희소성 조건에서 제안된 인덕티브 프레임워크는 전이형 모델보다 어떻게 비교되는가?
• RQ5 더 많은 역사적 평가 점수를 가진 핵심 사용자가 어텐션 메커니즘과 모델 일반화에 어떤 역할을 하는가?

주요 결과

• IDCF-GC는 역사적 평가 점수가 5개 미만인 사용자에 대해 최고의 전이형 모델(GCMC) 대비 2.5% 상대적인 RMSE 향상을 달성한다.
• 모델은 높은 희소성 조건에서도 안정적인 성능을 유지하며, NNMF 및 GCMC와 같은 전이형 모델에 비해 RMSE 감소 폭이 현저히 작다.
• 역사적 평가 점수가 많은 핵심 사용자가 항상 더 높은 누적 어텐션 가중치를 확보함으로써, 인덕티브 추론을 이끄는 데 중요한 역할을 한다는 것이 확인되었다.
• IDCF-NN 및 IDCF-GC는 사용자 평가 수에 따라 성능 저하가 더 부드럽게 나타나며, 낮은 평가 수를 가진 사용자에서 전이형 모델을 능가한다.
• IDCF는 합리적인 수준의 확장성을 보이며, 에포크당 훈련 시간이 GCMC보다 약 1배 정도 느리지만, 새로운 사용자에 대해 재학습이 필요 없음을 고려하면 유리하다.
• IDCF의 종단 간 데이터 기반의 구조 학습은 그래프 구축과 메시지 전달 간 상호 강화를 가능하게 하여 인덕티브 일반화 성능을 향상시킨다.