[논문 리뷰] DeepCF: A Unified Framework of Representation Learning and Matching Function Learning in Recommender System

Zhi‐Hong Deng, Ling Huang외 3명|arXiv (Cornell University)|2019. 01. 15.

Recommender Systems and Techniques참고 문헌 27인용 수 21

한 줄 요약

이 논문은 추천 시스템에서 협업 필터링을 위한 통합적인 딥러닝 프레임워크인 DeepCF를 제안한다. 이 프레임워크는 표현 학습과 매칭 함수 학습을 통합하여, 암시적 피드백을 가진 네 가지 벤치마크 데이터셋에서 최신 기술을 초월하는 성능을 달성한다. HR 및 NDCG 메트릭에서 기존 방법들을 능가한다.

ABSTRACT

In general, recommendation can be viewed as a matching problem, i.e., match proper items for proper users. However, due to the huge semantic gap between users and items, it's almost impossible to directly match users and items in their initial representation spaces. To solve this problem, many methods have been studied, which can be generally categorized into two types, i.e., representation learning-based CF methods and matching function learning-based CF methods. Representation learning-based CF methods try to map users and items into a common representation space. In this case, the higher similarity between a user and an item in that space implies they match better. Matching function learning-based CF methods try to directly learn the complex matching function that maps user-item pairs to matching scores. Although both methods are well developed, they suffer from two fundamental flaws, i.e., the limited expressiveness of dot product and the weakness in capturing low-rank relations respectively. To this end, we propose a general framework named DeepCF, short for Deep Collaborative Filtering, to combine the strengths of the two types of methods and overcome such flaws. Extensive experiments on four publicly available datasets demonstrate the effectiveness of the proposed DeepCF framework.

연구 동기 및 목표

• 기존 협업 필터링 방법의 한계를 해결하기 위해, 표현 학습에만 의존하는 방법(표현력이 제한됨) 또는 매칭 함수 학습에만 의존하는 방법(저랭크 관계 포착 능력이 열악함)을 해결하고자 한다.
• 표현 학습 기반 및 매칭 함수 학습 기반의 CF 방법을 하나의 엔드 투 엔드 딥러닝 프레임워크로 통합하여 추천 성능을 향상시키고자 한다.
• 유연한 복잡한 함수 모델링과 저랭크 사용자-아이템 관계 포착의 효율성을 동시에 활용할 수 있도록, 암시적 피드백 데이터를 기반으로 한 모델을 설계하고자 한다.
• 실세계 데이터셋에서의 광범위한 실험을 통해 프레임워크의 효과성을 입증하고자 한다.

제안 방법

• 프레임워크는 두 가지 다른 표현 방식을 결합한다: 표현 학습 기반 방법(예: 딥 매트릭스 파생)에서 유도된 표현과, 매칭 함수 학습 기반 방법(예: MLP 기반 사용자-아이템 상호작용 모델링)에서 유도된 표현.
• 이 두 표현은 각 사용자-아이템 쌍에 대해 결합 표현을 형성하기 위해 연결된다.
• 완전 연결 층이 결합 표현을 처리하여 비선형 매칭 점수를 학습함으로써, 특징의 적응적 가중치를 부여할 수 있다.
• 모델은 페어와이즈 손실을 사용하여 훈련되며, 음성 샘플은 각 양성 사용자-아이템 쌍에서 추출된다.
• 공동 훈련 전에 두 구성 요소를 별도로 사전 훈련하여 다양하고 강건한 초기 표현을 확보한다.
• 최종 모델인 CFNet는 요소별 곱셈과 매개변수화된 신경망 레이어를 사용하여 특징 상호작용을 향상시키고 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 표현 학습과 매칭 함수 학습을 결합함으로써 현재 최고 수준의 방법을 초월하는 추천 성능 향상을 달성할 수 있는가?
• RQ2 두 가지 다른 학습 철학에서 유도된 결합 표현이, 비선형 관계와 저랭크 유사성을 동시에 포착할 수 있는 능력에 어떤 영향을 미치는가?
• RQ3 통합 프레임워크에서 두 구성 요소에 대한 사전 훈련이 어떤 영향을 미치는가?
• RQ4 음성 샘플링 비율 및 예측 요소 수와 같은 하이퍼파라미터에 대해 모델 성능이 얼마나 민감한가?
• RQ5 제안된 DeepCF 프레임워크는 다양한 종류의 암시적 피드백 데이터셋에 대해 일반화 가능한가?

주요 결과

• ml-1m 데이터셋에서 사전 훈련을 적용한 CFNet 모델은 HR@10이 0.7253, NDCG@10이 0.4416을 기록하여 사전 훈련 없이 구현한 버전을 능가했다.
• 최적의 음성 샘플링 비율은 3에서 7 사이로, HR@10은 비율 3에서, NDCG@10은 비율 6에서 최고 성능를 기록했다.
• 대부분의 데이터셋에서 예측 요소 수가 64일 때 최고 성능를 기록했으며, AMusic 데이터셋에서는 16개 요소에서 최고 성능를 기록했다.
• 모든 데이터셋에서 사전 훈련을 적용한 CFNet 버전이 사전 훈련 없이 구현한 버전보다 항상 뛰어난 성능를 보였으며, 이는 다양한 표현을 학습하는 데 사전 훈련의 가치를 확인한다.
• 요소별 곱셈과 매개변수화된 신경망 레이어의 조합이 기준 방법 대비 성능 향상에 크게 기여했다.
• 네 가지 다양한 데이터셋(ml-1m, lastfm, AMusic, AToy)에서 강력한 일반화 성능를 보여, DeepCF 프레임워크의 견고성을 확인했다.