[논문 리뷰] Modeling Embedding Dimension Correlations via Convolutional Neural Collaborative Filtering

Xiaoyu Du, Xiangnan He외 4명|arXiv (Cornell University)|2019. 06. 26.

Recommender Systems and Techniques참고 문헌 64인용 수 5

한 줄 요약

이 논문은 사용자 및 아이템 임베딩 간의 상관관계를 모델링하기 위해 외적곱(outer product)을 적용한 후, 이를 통해 유도된 2차원 상호작용 맵에 컨볼루션 신경망(CNN)을 적용하는 새로운 신경 협업 필터링 프레임워크인 ConvNCF를 제안한다. 이는 고차원 상호작용을 학습한다. 제안된 방법은 실세계 데이터셋에서 기존의 CF 모델들보다 뚜렷이 뛰어난 성능을 보이며, 임베딩 차원 간의 상관관계를 명시적으로 모델링할 경우 추천 정확도 향상이 가능하다는 것을 입증한다.

ABSTRACT

As the core of recommender system, collaborative filtering (CF) models the affinity between a user and an item from historical user-item interactions, such as clicks, purchases, and so on. Benefited from the strong representation power, neural networks have recently revolutionized the recommendation research, setting up a new standard for CF. However, existing neural recommender models do not explicitly consider the correlations among embedding dimensions, making them less effective in modeling the interaction function between users and items. In this work, we emphasize on modeling the correlations among embedding dimensions in neural networks to pursue higher effectiveness for CF. We propose a novel and general neural collaborative filtering framework, namely ConvNCF, which is featured with two designs: 1) applying outer product on user embedding and item embedding to explicitly model the pairwise correlations between embedding dimensions, and 2) employing convolutional neural network above the outer product to learn the high-order correlations among embedding dimensions. To justify our proposal, we present three instantiations of ConvNCF by using different inputs to represent a user and conduct experiments on two real-world datasets. Extensive results verify the utility of modeling embedding dimension correlations with ConvNCF, which outperforms several competitive CF methods.

연구 동기 및 목표

• 기존의 신경 추천 모델들이 임베딩 차원 간 상관관계를 忽시하는 한계를 해결하기 위해.
• 임베딩 차원 간 쌍방향 및 고차원 상호작용을 명시적으로 모델링하여 협업 필터링의 표현 능력을 향상시키기 위해.
• 최신 기술 수준의 방법들을 능가하는 일반화 능력을 갖춘 신뢰할 수 있는 신경 협업 필터링 프레임워크를 개발하기 위해.

제안 방법

• 사용자 및 아이템 임베딩 간의 외적곱을 적용하여, 임베딩 차원 간의 쌍방향 상관관계를 포착하는 2차원 상호작용 맵을 생성한다.
• 상호작용 맵 위에 다층 컨볼루션 신경망(CNN)을 적용하여, 임베딩 차원 간의 고차원 상관관계를 학습한다.
• MF, GMF, 그리고 하이브리드 변종을 포함한 다양한 사용자 입력 표현 방식을 사용하여 ConvNCF의 세 가지 구현체를 설계한다.
• 완전 연결 네트워크보다 파라미터 수가 적고, 상호작용 맵의 공간 패턴을 효율적으로 모델링할 수 있도록 국소 연결형 CNN 아키텍처를 사용한다.
• 확률적 경사 하강법을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 수렴 속도 향상과 성능 향상을 위해 사전 훈련된 임베딩을 활용한다.
• ONCF-mlp 및 표준 MLP 기반 모델과의 비교를 위한 추론 분석을 수행하여, 외적곱 및 CNN 구성 요소의 효과를 검증한다.

실험 결과

연구 질문

• RQ1 임베딩 차원 간의 상관관계를 모델링하면 추천 시스템에서 협업 필터링의 성능 향상이 가능할까?
• RQ2 제안된 ConvNCF 프레임워크는 기존의 신경 협업 필터링 방법들과 비교해 추천 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 상호작용 맵에서 고차원 특징 상호작용을 학습하기 위해 CNN을 사용할지, 완전 연결 네트워크를 사용할지의 영향은 무엇인가?
• RQ4 임베딩 레이어를 사전 훈련하면 ConvNCF의 성능 향상과 수렴 속도 향상에 기여하는가?
• RQ5 CNN 레이어의 필터맵 수의 변화에 대해 ConvNCF는 얼마나 강인한가?

주요 결과

• ConvNCF는 두 개의 실세계 데이터셋에서 여러 경쟁적 협업 필터링 방법들을 능가하며, top-k 추천 과제에서 최신 기술 수준의 성능을 달성한다.
• 상호작용 맵에 기반한 CNN 기반 접근 방식은 파라미터 수가 1000배 이상 많은 3층 MLP보다 뚜렷이 뛰어난 성능을 보이며, 국소 연결성의 효율성과 효과성을 입증한다.
• 훈련 에포크 전반에 걸쳐 안정적이고 일관된 성능을 기록하여, 깊은 MLP 기반 베이스라인 대비 더 낮은 분산과 더불어 뛰어난 강인성을 보인다.
• CNN 레이어의 필터맵 수를 늘릴수록 성능 향상이 이루어지며, 유사한 최적 수준에 수렴함을 보이며, 강력한 일반화 능력과 낮은 과적합 위험을 시사한다.
• Fine-tuning 전에 임베딩 레이어를 사전 훈련하면 수렴 속도가 빨라지고 성능도 향상되며, 잘 정립된 모델에서 표현을 초기화하는 것이 가치가 있음을 확인한다.
• 추론 분석 결과, 외적곱과 CNN 구성 요소 모두 성능 향상에 필수적이며, 각각 최종 추천 정확도 향상에 크게 기여함을 확인하였다.