[논문 리뷰] Ekar: An Explainable Method for Knowledge Aware Recommendation

Weiping Song, Zhijian Duan외 4명|arXiv (Cornell University)|2019. 06. 22.

Recommender Systems and Techniques인용 수 12

한 줄 요약

이 논문은 사용자-항목 지식 그래프 상에서 딥 강화학습을 통해 사용자에서 항목으로의 추천 경로를 생성하는 설명 가능하고 지식 인식형 추천 방법인 Ekar을 제안한다. 경로 탐색을 보상 설계를 적용한 순차적 결정 과정으로 공식화함으로써, Ekar는 기존의 지식 그래프 기반 방법보다 훨씬 뛰어난 성능을 달성하면서도 인간이 이해할 수 있는 추론 경로를 제공한다. 이는 세 개의 실세계 데이터셋에서 최신 기술 수준을 확보한다.

ABSTRACT

This paper studies recommender systems with knowledge graphs, which can effectively address the problems of data sparsity and cold start. Recently, a variety of methods have been developed for this problem, which generally try to learn effective representations of users and items and then match items to users according to their representations. Though these methods have been shown quite effective, they lack good explanations, which are critical to recommender systems. In this paper, we take a different route and propose generating recommendations by finding meaningful paths from users to items. Specifically, we formulate the problem as a sequential decision process, where the target user is defined as the initial state, and the edges on the graphs are defined as actions. We shape the rewards according to existing state-of-the-art methods and then train a policy function with policy gradient methods. Experimental results on three real-world datasets show that our proposed method not only provides effective recommendations but also offers good explanations.

연구 동기 및 목표

• 지식 그래프 기반 추천 시스템에서 설명 가능성의 부족을 해결하기 위해, 일반적으로 투명하지 않은 표현에 의존하는 문제를 해결한다.
• 지식 그래프 상에서 순차적 결정을 통해 사용자에서 추천된 항목으로의 의미 있는, 인간이 이해할 수 있는 경로를 생성한다.
• 구조화된 지식 그래프 정보를 활용하면서도 설명 가능성 유지하면서 추천 성능을 향상시키기 위해 노력한다.
• 대규모 사용자-항목-엔티티 그래프에서 경로의 완전한 열거가 비현실적이므로, 강화학습을 통해 이를 극복한다.
• 사전 훈련된 지식 그래프 임베딩을 사용하여 희소한 강화학습 신호를 향상시키는 보상 설계 메커니즘을 설계한다.

제안 방법

• Ekar는 사용자-항목 경로 생성을 순차적 결정 과정으로 공식화하며, 사용자가 초기 상태이고 그래프 간선이 동작으로 간주된다.
• 정책 네트워크는 사용자-항목 상호작용 데이터를 기반으로 기대 보상을 최대화하기 위해 REINFORCE 알고리즘을 사용해 훈련된다.
• 사전 훈련된 지식 그래프 임베딩 모델(예: ConvE 또는 DistMult)을 사용하여 보상 설계를 적용함으로써 훈련 중에 조밀하고 정보적인 신호를 제공한다.
• 최신 기술 수준의 KGE 모델을 사용해 엔티티 및 관계 임베딩을 초기화하고, 이를 보상 설계 및 정책 초기화에 모두 활용한다.
• 경로 생성 과정은 엔드 투 엔드로 미분 가능하며, 사용자에서 항목으로의 의미 있는 다단계 추론 경로를 학습할 수 있도록 한다.
• 설명은 자연어 경로 형태로 제공되며(예: 사용자 → 영화 → 배우 → 영화), 지식 그래프에 기반한 이해하기 쉬운 경로이다.

실험 결과

연구 질문

• RQ1 강화학습 기반 접근 방식이 지식 그래프 강화 추천 시스템에서 의미 있고 설명 가능한 추천 경로를 생성할 수 있는가?
• RQ2 사전 훈련된 지식 그래프 임베딩을 사용한 보상 설계가 희소 환경에서 경로 탐색의 샘플 효율성과 성능을 어떻게 향상시키는가?
• RQ3 Ekar는 정확도와 설명 가능성 측면에서 기존의 지식 그래프 기반 추천 모델보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 방법은 다양한 지식 그래프 임베딩 아키텍처(예: ConvE 대비 DistMult)에 대해 얼마나 강건한가?
• RQ5 Ekar 모델의 수렴 속도는 얼마나 빠른가? 그리고 데이터 밀도에 따라 수렴 속도가 달라지는가?

주요 결과

• Ekar는 세 개의 실세계 데이터셋에서 최신 기술 수준의 성능을 달성했으며, MovieLens-1M에서 HR@10이 0.1994, NDCG@10이 0.3699로, ConvE-Rec 및 DistMult-Rec를 모두 능가한다.
• ConvE를 사용한 Ekar가 DistMult를 사용한 Ekar보다 성능이 뛰어나며, 이는 ConvE가 지식 그래프 보완 작업에서 일반적으로 우수한 성능을 보임을 반영한다.
• Ekar* (정책 미세조정 적용)는 MovieLens-1M에서 HR@10이 0.1994, NDCG@10이 0.3699로 최고 성능을 기록했으며, 정책 미세조정의 이점이 있음을 시사한다.
• 밀도가 높은 MovieLens-1M 데이터셋에서는 10분 이내에 수렴하며, 더 희소한 데이터셋인 DBbook2014에서는 수렴 시간이 더 길어져 데이터 희소성이 탐색에 미치는 영향을 반영한다.
• 사례 연구를 통해 Ekar는 직관적이고 인간이 읽을 수 있는 경로(예: 사용자 → 타이타닉 → 레오나르도 디카프리오 → 로미오와 줄리엣)를 생성함으로써 추천의 명확한 설명을 제공한다.
• 이 방법은 특정 KGE 모델에 종속되지 않으며 모듈러하며, 초기화 및 보상 설계에 ConvE에서 DistMult로 전환해도 유사한 성능를 기록함으로써 이를 입증한다.