[논문 리뷰] On the Relationship between Explanation and Recommendation: Learning to Rank Explanations for Improved Performance

Lei Li, Yongfeng Zhang외 1명|arXiv (Cornell University)|2021. 02. 01.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 사용자-아이템-설명 상호작용의 데이터 희소성 문제를 완화하기 위해 행렬 분해를 사용하는 가용성 있는 랭킹 작업으로 설명 선택을 다루는 공동 랭킹 프레임워크를 제안한다. 가중치가 부여된 손실를 통해 아이템 추천과 설명 랭킹을 동시에 최적화함으로써, 추천 성능(최대 89.4% 상대적 향상)과 설명 품질이 향상되며, 텍스트 기반 설명을 포함한 세 개의 대규모 데이터셋에서 검증되었다.

ABSTRACT

Explaining to users why some items are recommended is critical, as it can help users to make better decisions, increase their satisfaction, and gain their trust in recommender systems (RS). However, existing explainable RS usually consider explanation as a side output of the recommendation model, which has two problems: (1) it is difficult to evaluate the produced explanations because they are usually model-dependent, and (2) as a result, how the explanations impact the recommendation performance is less investigated. In this paper, explaining recommendations is formulated as a ranking task, and learned from data, similar to item ranking for recommendation. This makes it possible for standard evaluation of explanations via ranking metrics (e.g., NDCG). Furthermore, this paper extends traditional item ranking to an item-explanation joint-ranking formalization to study if purposely selecting explanations could reach certain learning goals, e.g., improving recommendation performance. A great challenge, however, is that the sparsity issue in the user-item-explanation data would be inevitably severer than that in traditional user-item interaction data, since not every user-item pair can be associated with all explanations. To mitigate this issue, this paper proposes to perform two sets of matrix factorization by considering the ternary relationship as two groups of binary relationships. Experiments on three large datasets verify the solution's effectiveness on both explanation ranking and item recommendation.

연구 동기 및 목표

• 추천 시스템에서 설명에 대한 표준화되고 오프라인 평가 지표의 부족을 해결하기 위해.
• 고품질의 설명을 선택하는 것이 추천 성능을 향상시킬 수 있는지 조사하기 위해.
• 기존의 사용자-아이템 상호작용보다 더 심각한 데이터 희소성 문제를 야기하는 사용자-아이템-설명 삼중조합의 데이터 희소성을 완화하기 위해.
• 공유된 표현을 사용하여 아이템 추천과 설명 랭킹을 동시에 최적화하는 통합 프레임워크를 개발하기 위해.
• NDCG와 같은 표준 랭킹 지표를 사용하여 설명에 대한 정량적이고 오프라인 평가를 가능하게 하기 위해.

제안 방법

• 설명 생성을 랭킹 작업으로 공식화하여, 주어진 사용자에 대해 각 아이템에 대해 설명을 랭킹하는 방식으로, 추천에서 아이템 랭킹과 유사하게 처리한다.
• 가중치가 부여된 손실 함수와 초모수 α를 사용하여 아이템 추천과 설명 랭킹을 동시에 최적화하는 공동 랭킹 프레임워크를 도입한다.
• 이중 단계 행렬 분해를 적용하여 삼중 사용자-아이템-설명 관계를 두 그룹의 이원 관계로 모델링함으로써 희소성 영향을 감소시킨다.
• BPR, 협업 필터링, 개인화된 아이템 특징 기반의 세 가지 모델—BPER-J, CD-J, PITF-J—을 공동 학습에 적합하게 변형하여 사용한다.
• 표준 랭킹 지표(NDCG, F1, MAP, MRR)를 사용하여 통합된 오프라인 환경에서 설명 품질과 추천 성능를 동시에 평가한다.
• 공동 학습 하에서 설명 성능와 추천 성능 간의 트레이드오프를 분석하기 위해 자기 비교 전략을 활용한다.

Figure 1. A toy example of explanation ranking for a movie recommender system.

실험 결과

연구 질문

• RQ1 표준 오프라인 랭킹 지표(NDCG 등)를 사용하여 모델에 종속되지 않는 방식으로 설명 품질을 평가할 수 있는가?
• RQ2 설명 랭킹과 아이템 추천을 공동으로 최적화하면 양쪽 작업의 성능이 향상되는가?
• RQ3 사용자-아이템-설명 삼중조합의 데이터 희소성이 모델 성능에 미치는 영향은 무엇이며, 이를 효과적으로 완화할 수 있는가?
• RQ4 고품질의 설명을 선택하면 추천 성능에 측정 가능한 향상이 이루어지는가?
• RQ5 공동 학습 프레임워크에서 설명 품질과 추천 정확성 간의 최적의 트레이드오프는 무엇인가?

주요 결과

• 공동 랭킹 프레임워크는 비공동 기반 모델 대비 최대 89.4%의 NDCG 향상을 보이며, 세 데이터셋 모두에서 뚜렷한 성능 향상을 기록했다.
• 모든 모델에서 공동 학습 하에 설명 랭킹 성능이 향상되었으며, 특히 CD-J는 추천 작업에서의 데이터 희소성 감소로 인해 놀라운 성능 향상을 보였다.
• 최적의 공동 랭킹 설정에서는 아마존에서 BPER-J에 대해 설명 F1이 25.0% 향상되었고, 추천 F1은 31.3% 향상되었다.
• α 값이 최적 범위 내에 있을 경우(예: 아마존에서 BPER-J의 경우 0.1–0.6), 설명과 추천 성능가 둘 다 향상되어 상호 이득이 있음을 입증했다.
• 공동 랭킹 프레임워크는 설명 및 추천 작업을 별도로 학습하는 것보다 항상 뛰어난 성능을 보였으며, 공유 최적화의 가치를 확인했다.
• 제안된 이중 단계 행렬 분해는 삼중 사용자-아이템-설명 상호작용의 데이터 희소성을 효과적으로 완화하여 신뢰할 수 있는 공동 학습을 가능하게 했다.

Figure 2. Illustration of user-item-explanation interactions.