[논문 리뷰] COMET: Convolutional Dimension Interaction for Collaborative Filtering

Zhuoyi Lin, Lei Feng외 5명|arXiv (Cornell University)|2020. 07. 28.

Recommender Systems and Techniques참고 문헌 33인용 수 4

한 줄 요약

COMET는 수직으로 스택된 임베딩 맵 위에서 컨volutional 신경망(CNNs)을 사용하여 이력 사용자-아이템 상호작용과 임베딩 차원 간의 고차원 상호작용을 캡처하는 새로운 협업 필터링 모델을 제안한다. 내부(상호작용 수준) 및 차원(임베딩 수준) 상호작용을 동시에 모델링함으로써 COMET는 암시적 피드백 데이터셋에서 최신 기법들보다 추천 성능을 향상시킨다.

ABSTRACT

Representation learning-based recommendation models play a dominant role among recommendation techniques. However, most of the existing methods assume both historical interactions and embedding dimensions are independent of each other, and thus regrettably ignore the high-order interaction information among historical interactions and embedding dimensions. In this paper, we propose a novel representation learning-based model called COMET (COnvolutional diMEnsion inTeraction), which simultaneously models the high-order interaction patterns among historical interactions and embedding dimensions. To be specific, COMET stacks the embeddings of historical interactions horizontally at first, which results in two "embedding maps". In this way, internal interactions and dimensional interactions can be exploited by convolutional neural networks (CNN) with kernels of different sizes simultaneously. A fully-connected multi-layer perceptron (MLP) is then applied to obtain two interaction vectors. Lastly, the representations of users and items are enriched by the learnt interaction vectors, which can further be used to produce the final prediction. Extensive experiments and ablation studies on various public implicit feedback datasets clearly demonstrate the effectiveness and rationality of our proposed method.

연구 동기 및 목표

• 기존의 표현 학습 기반 추천 모델이 이력 상호작용과 임베딩 차원 간의 고차원 상호작용을 忽시하는 한계를 해결하기 위해.
• 이력 상호작용 간의 내부 상호작용 패턴(상호작용 수준)과 임베딩 차원 간의 차원 상호작용 패턴(임베딩 수준)을 동시에 모델링하기 위해.
• 리뷰나 지식 그래프와 같은 보조 데이터가 필요 없이 학습된 상호작용 신호를 통합함으로써 사용자 및 아이템 표현을 향상시키기 위해.
• 컨volutional 네트워크가 협업 필터링에서 복잡한 고차원 상호작용 패턴을 캡처하는 데 효과적임을 입증하기 위해.

제안 방법

• 사용자 또는 아이템의 이력 상호작용 임베딩을 수평으로 스택하여 상호작용 수준 및 차원 수준 패턴을 인코딩하는 두 개의 '임베딩 맵'을 구성한다.
• 다양한 커널 크기를 가진 컨volutional 신경망(CNNs)을 적용하여 두 임베딩 맵에서 고차원 상호작용 신호를 추출한다.
• CNN 출력을 처리하기 위해 완전 연결 다층 퍼셉트론(MLP)을 사용하여 사용자 및 아이템용 두 개의 상호작용 벡터를 생성한다.
• 최종 예측 점수를 계산하기 전에 원본 사용자 및 아이템 표현에 학습된 상호작용 벡터를 연결하여 표현을 풍부화시킨다.
• 과적합을 방지하기 위해 L2 정규화를 사용한 확률적 경사 하강법으로 모델을 엔드 투 엔드로 훈련시킨다.
• CNN 커널을 통해 외적 곱 연산을 암묵적으로 활용하여 파라미터 효율적인 방식으로 쌍방향 및 고차원 차원 상호작용을 모델링한다.

실험 결과

연구 질문

• RQ1 이력 상호작용과 임베딩 차원 간의 고차원 상호작용을 모델링하면 협업 필터링에서 추천 성능을 향상시킬 수 있는가?
• RQ2 내부(상호작용 수준) 및 차원(임베딩 수준) 상호작용은 암시적 피드백 환경에서 표현 학습에 어떻게 기여하는가?
• RQ3 원본 표현과 학습된 상호작용 벡터 중 어느 것이 최종 예측 정확도에 더 큰 기여를 하는가?
• RQ4 임베딩 크기, 정규화, CNN 채널 수와 같은 하이퍼파라미터에 대해 제안된 방법은 얼마나 민감한가?

주요 결과

• COMET는 여러 공개 암시적 피드백 데이터셋에서 HR@10 및 NDCG@10 측정치에서 최신 기법들을 능가한다.
• 제거 실험 결과, 원본 표현과 학습된 상호작용 벡터를 조합할 경우 가장 우수한 성능를 기록하여 상호작용 인식 표현 학습의 가치를 확인한다.
• 더 큰 임베딩 크기를 사용할수록 성능 향상이 이루어져 더 rich한 표현이 학습에 기여함을 시사한다.
• 최적의 정규화 파라미터 범위는 [5e-6, 1e-5]이며, 과적합과 과소적합을 균형 있게 조절한다.
• CNN 채널 수의 변화에 관계없이 성능가 안정적이므로, CNN 기반 상호작용 모델링의 강건성과 높은 표현력이 입증된다.
• 훈련 손실이 에포크 수에 따라 안정적으로 수렴함으로써 제안된 아키텍처의 안정적이고 효과적인 최적화를 확인한다.