[논문 리뷰] Improving Explainable Recommendations with Synthetic Reviews

Sixun Ouyang, Aonghus Lawlor외 2명|arXiv (Cornell University)|2018. 07. 18.

Topic Modeling참고 문헌 24인용 수 8

한 줄 요약

이 논문은 설명 가능한 추천을 향상시키기 위해 캐릭터 수준 및 워드 수준의 RNN 기반 모델을 사용하여 합성 개인화된 리뷰를 생성하는 새로운 프레임워크를 제안한다. 아마존 도서 리뷰 데이터를 훈련에 사용하고 DeepCoNN를 평가 기준으로 삼았을 때, 합성 리뷰는 인간이 작성한 리뷰보다 RMSE가 5.3% 낮아져 추천 성능이 뛰어나고 감성-등급 일치성이 더 강하다.

ABSTRACT

An important task for a recommender system to provide interpretable explanations for the user. This is important for the credibility of the system. Current interpretable recommender systems tend to focus on certain features known to be important to the user and offer their explanations in a structured form. It is well known that user generated reviews and feedback from reviewers have strong leverage over the users' decisions. On the other hand, recent text generation works have been shown to generate text of similar quality to human written text, and we aim to show that generated text can be successfully used to explain recommendations. In this paper, we propose a framework consisting of popular review-oriented generation models aiming to create personalised explanations for recommendations. The interpretations are generated at both character and word levels. We build a dataset containing reviewers' feedback from the Amazon books review dataset. Our cross-domain experiments are designed to bridge from natural language processing to the recommender system domain. Besides language model evaluation methods, we employ DeepCoNN, a novel review-oriented recommender system using a deep neural network, to evaluate the recommendation performance of generated reviews by root mean square error (RMSE). We demonstrate that the synthetic personalised reviews have better recommendation performance than human written reviews. To our knowledge, this presents the first machine-generated natural language explanations for rating prediction.

연구 동기 및 목표

• 기존의 해석 가능한 추천 시스템에서 개인화되고 자연어 형태의 설명이 부족한 문제를 해결하기 위해.
• 기계로 생성한 리뷰가 인간이 작성한 리뷰보다 추천 정확도에서 뛰어나지 않는지 조사하기 위해.
• 생성된 리뷰의 감성과 실제 사용자 평점 간의 일관성을 평가하기 위해.
• 설명 가능한 AI 기반 추천 시스템에서 리뷰 생성과 평점 예측을 통합한 프레임워크를 탐색하기 위해.

제안 방법

• 사용자 ID, 항목 ID 및 평점 기반으로 개인화된 합성 리뷰를 생성하기 위해 캐릭터 수준 및 워드 수준의 RNN 기반 생성 모델을 활용한다.
• 장기적 단기 기억(LSTM) 네트워크에 주목적 메커니즘과 그래프 컨volution 네트워크(GCN)를 활용하여 리뷰 생성을 모델링하고 사용자-항목 상호작용과의 일치도를 향상시킨다.
• 합성 리뷰의 질을 향상시키기 위해 아마존 리뷰의 유용성 점수를 리뷰 품질의 대체 지표로 활용하여 일관성 있고 유용한 합성 리뷰 생성을 유도한다.
• NLP 메트릭(예: BLEU 및 독해성)을 사용해 텍스트 품질을 평가하고, DeepCoNN 모델의 RMSE를 사용해 추천 성능을 검증한다.
• 생성된 리뷰의 감성 극성과 진정한 평점 간 선형 관계를 측정하기 위해 피어슨 상관계수를 적용한다.
• 사용자-항목 상호작용 및 유용성 점수와 정렬된 리뷰를 필터링하여 아마존 도서 리뷰 데이터셋에서 자체 구축한 데이터셋을 구성한다.

실험 결과

연구 질문

• RQ1 RNN 기반 모델이 생성한 합성 리뷰는 인간이 작성한 리뷰보다 평점 예측 성능을 향상시키는가?
• RQ2 합성 리뷰의 감성 표현은 실제로 연결된 평점과 얼마나 일관성이 있는가?
• RQ3 주목적 메커니즘과 GCN 아키텍처는 추천 맥락에서 생성된 리뷰의 품질과 관련성에 기여하는가?
• RQ4 기준 대비 합성 리뷰는 평점 추정에서 이방값 예측을 얼마나 줄이는가?

주요 결과

• GCN 기반 모델이 생성한 합성 리뷰는 테스트 쌍 기준선 대비 RMSE에서 5.3% 향상되어 더 뛰어난 추천 성능을 보였다.
• GCN 모델은 생성된 리뷰 감성과 진정한 평점 간에 79.50%의 최고 수준의 피어슨 상관계수를 기록하여 사용자 평점과 강력한 일치성을 보였다.
• 캐릭터 수준 모델이 워드 수준 모델보다 감성 일관성에서 뛰어나며, GCN 기반 캐릭터 모델이 가장 높은 상관계수와 가장 낮은 RMSE를 기록했다.
• 합성 리뷰 생성 프레임워크는 기준선 대비 외곽치 예측(특히 극단적 평점인 1점 및 5점)을 줄여 전체 예측 안정성을 향상시켰다.
• BLEU 점수와 독해성 메트릭은 생성된 리뷰가 유창하고 이해하기 쉬운 것을 확인하여 강력한 텍스트 생성 품질을 나타냈다.
• 주목적 메커니즘이 컨텍스트 전용 모델 대비 성능을 향상시켰으며, RMSE는 낮추고 감성 상관계수는 높여 리뷰와 평점 간의 일치를 강화함을 확인했다.