[논문 리뷰] A Capsule Network for Recommendation and Explaining What You Like and Dislike

Chenliang Li, Cong Quan외 4명|arXiv (Cornell University)|2019. 07. 01.

Recommender Systems and Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 사용자 시각과 상품 특성의 조합으로 이루어진 논리 단위를 통해 사용자-항목 상호작용을 미세하게 모델링함으로써 추천 정확도와 해석 가능성성을 향상시키는 캡슐 네트워크 기반 모델인 CARP를 제안한다. 새로운 Routing by Bi-Agreement 기법을 사용하여 이러한 논리 단위의 정서 인식 표현을 식별함으로써, 일곱 개인 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 사용자 선호도에 대한 실질적이고 설명 가능한 통찰을 제공한다.

ABSTRACT

User reviews contain rich semantics towards the preference of users to features of items. Recently, many deep learning based solutions have been proposed by exploiting reviews for recommendation. The attention mechanism is mainly adopted in these works to identify words or aspects that are important for rating prediction. However, it is still hard to understand whether a user likes or dislikes an aspect of an item according to what viewpoint the user holds and to what extent, without examining the review details. Here, we consider a pair of a viewpoint held by a user and an aspect of an item as a logic unit. Reasoning a rating behavior by discovering the informative logic units from the reviews and resolving their corresponding sentiments could enable a better rating prediction with explanation. To this end, in this paper, we propose a capsule network based model for rating prediction with user reviews, named CARP. For each user-item pair, CARP is devised to extract the informative logic units from the reviews and infer their corresponding sentiments. The model firstly extracts the viewpoints and aspects from the user and item review documents respectively. Then we derive the representation of each logic unit based on its constituent viewpoint and aspect. A sentiment capsule architecture with a novel Routing by Bi-Agreement mechanism is proposed to identify the informative logic unit and the sentiment based representations in user-item level for rating prediction. Extensive experiments are conducted over seven real-world datasets with diverse characteristics. Our results demonstrate that the proposed CARP obtains substantial performance gain over recently proposed state-of-the-art models in terms of prediction accuracy. Further analysis shows that our model can successfully discover the interpretable reasons at a finer level of granularity.

연구 동기 및 목표

• 사용자 리뷰에 의존하는 딥 러닝 기반 추천 시스템에서의 해석 가능성 부족 문제를 해결하기 위해.
• 전반적인 정서 기반 함수로만 사용자 평가 행동을 모델링하는 것이 아니라, 특정 사용자 시각과 상품 특성의 결과로 평가 행동을 모델링하기 위해.
• 리뷰에서 유의미한 논리 단위를 식별함으로써 사용자가 어떤 항목을 좋아하거나 싫어하는 이유를 미세하게 설명할 수 있도록 하기 위해.
• 사용자 리뷰 내에서 복잡한 다중 특성 정서 추론을 포착함으로써 평가 예측 정확도를 향상시키기 위해.
• 고정밀 추천과 인간이 이해할 수 있는 설명을 동시에 지원하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 사용자 및 항목 리뷰 문서에서 사용자 시각과 상품 특성을 추출하기 위해, 컨볼루션 레이어 위에 스택된 자체 어텐션 메커니즘을 사용한다.
• 각 사용자-항목 쌍은 사용자 시각과 상품 특성을 조합하여 형성된 논리 단위의 집합으로 모델링된다.
• 각 논리 단위의 정서를 표현하기 위해 캡슐 네트워크 아키텍처를 도입하였으며, 정보가 포함된 단위에 동적으로 정보를 라우팅하기 위한 새로운 Routing by Bi-Agreement 기법을 제안하였다.
• 라우팅 메커니즘은 최종 평가 예측에 기여하는 데 유의미한 논리 단위만 선택함으로써, 설명 가능성과 성능을 향상시킨다.
• 최종 출력의 해석 가능성 향상을 위해 원시 평가 점수에 Max-Normalization을 적용한다.
• 최종 평가는 정서 캡슐 출력의 비선형 변환을 통해 예측되며, 이는 사용자 선호도의 복잡한 학습을 엔드 투 엔드로 가능하게 한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크가 사용자 시각과 상품 특성으로 구성된 미세한 논리 단위를 식별함으로써 사용자 선호도를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 Routing by Bi-Agreement 기법이 기존 캡슐 네트워크의 표준 라우팅 대비 유의미한 논리 단위 식별 성능을 향상시키는가?
• RQ3 모델이 사용자 리뷰만을 사용하여 최신 딥 러닝 모델보다 더 높은 평가 예측 정확도를 달성할 수 있는가?
• RQ4 모델이 추출한 논리 단위를 통해 사용자 평가에 대한 인간이 이해할 수 있는 설명을 어느 정도 제공할 수 있는가?
• RQ5 다양한 리뷰 특성을 지닌 다양한 실세계 데이터셋에서 모델의 성능은 얼마나 견고한가?

주요 결과

• CARP는 일곱 개인 실세계 데이터셋에서 최근 최신 기술 수준의 모델들에 비해 예측 정확도 측면에서 상당한 성능 향상을 달성한다.
• 모델은 리뷰에 표현된 실제 사용자 정서와 선호도와 부합하는 해석 가능한 논리 단위를 성공적으로 발견한다.
• 정성적 분석 결과, 긍정 및 부정 정서 캡슐이 추출한 상위 논리 단위들이 실제 리뷰의 내용과 정서와 잘 일치한다.
• Routing by Bi-Agreement 기법은 의미 있는 어휘 표현에 높은 주목을 기울이며, 가장 관련성이 높은 논리 단위를 효과적으로 식별하고 강조한다.
• 모델은 낮은 벡터 크기와 작은 라우팅 가중치를 통해 약한 긍정 또는 부정 효과와 같은 미묘한 정서 역학을 포착한다.
• Max-Normalization의 사용은 원시 출력을 더 직관적인 범위로 스케일링함으로써 최종 평가 예측의 해석 가능성성을 향상시킨다.