[논문 리뷰] A Zero Attentive Relevance Matching Networkfor Review Modeling in Recommendation System

Hansi Zeng, Zhichao Xu외 1명|arXiv (Cornell University)|2021. 01. 16.

Recommender Systems and Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 ZARM을 제안하며, 이는 목표 항목에 대한 관련성에 따라 리뷰에서 동적으로 사용자 표현을 추출하기 위해 정규화된 훈련을 사용하는 상호작용 기반 추천 모델이다. 또한 관련성 없는 리뷰가 존재할 경우 유연하게 성능 저하를 방지하기 위해 제로-어텐션 메커니즘을 활용한다. 이 모델은 네 개의 Amazon 벤치마크 데이터셋에서 최신의 시아모이즈 및 상호작용 기반 모델을 능가하며, 사용자-아이템 관련성의 효과적 포착과 평점 예측 정확도 향상에 기여한다.

ABSTRACT

User and item reviews are valuable for the construction of recommender systems. In general, existing review-based methods for recommendation can be broadly categorized into two groups: the siamese models that build static user and item representations from their reviews respectively, and the interaction-based models that encode user and item dynamically according to the similarity or relationships of their reviews. Although the interaction-based models have more model capacity and fit human purchasing behavior better, several problematic model designs and assumptions of the existing interaction-based models lead to its suboptimal performance compared to existing siamese models. In this paper, we identify three problems of the existing interaction-based recommendation models and propose a couple of solutions as well as a new interaction-based model to incorporate review data for rating prediction. Our model implements a relevance matching model with regularized training losses to discover user relevant information from long item reviews, and it also adapts a zero attention strategy to dynamically balance the item-dependent and item-independent information extracted from user reviews. Empirical experiments and case studies on Amazon Product Benchmark datasets show that our model can extract effective and interpretable user/item representations from their reviews and outperforms multiple types of state-of-the-art review-based recommendation models.

연구 동기 및 목표

• 기존 상호작용 기반 추천 모델의 성능이 비최적임에도 불구하고, 더 높은 용량과 인간 행동과의 더 나은 일치를 가짐에도 불구하고 이를 해결하고자 한다.
• 현재 상호작용 기반 모델의 세 가지 핵심 한계를 극복하고자 한다: 긴 리뷰에서 유사성 신호의 흐려짐, 제한된 사용자 리뷰로 인한 과적합, 진정한 사용자 의견이 아닌 텍스트 유사성에 의존하는 문제.
• 목표 항목에 대한 관련성에 따라 동적으로 사용자 표현을 학습할 수 있는 모델을 개발하고자 하며, 관련 리뷰가 존재하지 않을 경우에도 강건성을 유지하고자 한다.
• 관련성 매칭 모듈 훈련을 위해 진정한 사용자 리뷰를 양의 쌍으로 사용함으로써 리뷰 기반 표현의 해석 가능성과 효과성을 향상시키고자 한다.

제안 방법

• 모델은 각 사용자 리뷰를 쿼리로 간주하여 목표 항목의 리뷰에서 관련 내용을 검색하는 관련성 매칭 모듈을 활용함으로써, 긴 텍스트 내에서도 의미적으로 관련된 정보를 발견할 수 있도록 한다.
• 진정한 사용자 리뷰와 해당 항목의 리뷰를 양의 '쿼리-문서' 쌍으로 사용하여 정규화된 보조 손실을 도입함으로써 관련성 매칭 함수의 훈련을 향상시킨다.
• 제로-어텐션 네트워크를 사용하여 사용자 리뷰에서 항목 기반 및 항목 비기반 정보를 동적으로 균형 조절함으로써, 관련 리뷰가 없을 경우 시아모이즈 모델로 성능 저하가 발생할 수 있도록 한다.
• 단어에서 리뷰까지의 계층적 표현을 캡처하기 위해 다층 컨볼루션 자기어텐션 네트워크를 사용하여 정적 사용자 및 항목 임베딩을 학습한다.
• 최종 사용자 표현은 상호작용 모듈에서 유도된 동적 표현과 정적 임베딩을 조합함으로써, 낮은 관련성 상황에서도 강건성을 확보한다.
• 관련성 매칭 모듈을 훈련 목표에 보조 손실로 통합함으로써, 관련성 점수와 진정한 사용자 의견 간의 일치도를 향상시킨다.

실험 결과

연구 질문

• RQ1 원시 텍스트 유사성에 의존하지 않고 상호작용 기반 모델이 목표 항목에 대한 사용자 관련성을 더 잘 포착할 수 있는 방법은 무엇인가?
• RQ2 진정한 사용자 리뷰를 양의 쌍으로 사용할 경우 관련성 매칭 함수의 훈련에 어떤 영향을 미치는가?
• RQ3 사용자 리뷰가 목표 항목과 관련이 없을 경우 모델이 어떻게 성능을 유지할 수 있는가?
• RQ4 제로-어텐션 메커니즘이 낮은 관련성 상황에서의 강건성과 일반화 능력을 얼마나 향상시키는가?
• RQ5 관련성 매칭 점수는 실제 사용자 의견과 항목 특성과 얼마나 상관이 있는가?

주요 결과

• ZARM 모델은 네 개의 Amazon 벤치마크 데이터셋에서 평점 예측 정확도 측면에서 여러 최신의 시아모이즈 및 상호작용 기반 모델을 능가한다.
• 데이터셋 내 약 50%의 사용자-아이템 쌍은 목표 항목에 관련된 사용자 리뷰가 없으며, 이 중 최고 비율인 60%는 비디오 게임 데이터셋에서 관찰된다.
• 玩구품 및 게임 데이터셋에서는 15%의 사용자-아이템 쌍이 세 개 이상의 관련 리뷰를 가지며, 이는 유사한 항목들 사이에서 일관된 사용자 관심을 나타낸다.
• 사례 연구 결과, 높은 관련성 점수는 사용자 리뷰와 항목 설명 간 공통 키워드 및 의미적 일치와 관련이 있으며, 예를 들어 'Gyro Hercules'와 '내구성' 등이 포함된다.
• 관련 리뷰가 존재하지 않을 경우 제로-어텐션 메커니즘이 성공적으로 시아모이즈 모델로 성능 저하를 유도하며, 희소한 상황에서도 성능을 유지한다.
• 보조 손실을 갖춘 관련성 매칭 모듈은 진정한 사용자 의견을 반영하는 의미론적 관련 리뷰를 식별하는 데 모델의 능력을 크게 향상시킨다.