[논문 리뷰] Neural-Symbolic Reasoning over Knowledge Graph for Multi-stage Explainable Recommendation

Yikun Xian, Zuohui Fu외 3명|arXiv (Cornell University)|2020. 07. 26.

Advanced Graph Neural Networks참고 문헌 10인용 수 10

한 줄 요약

이 논문은 심층 학습과 상징적 지식 그래프 추론을 통합하여 계층적이고 설명 가능한 추천을 생성하는 새로운 코arse-to-fine 신경-기호 추론 프레임워크인 NSER를 제안한다. 먼저 추상적인 사용자 행동 패턴을 학습한 후 구체적인 추론 경로를 도출함으로써, 네 가지 실세계 데이터셋에서 최신 기술 수준의 추천 성능과 다양한 해석 가능한 설명을 달성한다.

ABSTRACT

Recent work on recommender systems has considered external knowledge graphs as valuable sources of information, not only to produce better recommendations but also to provide explanations of why the recommended items were chosen. Pure rule-based symbolic methods provide a transparent reasoning process over knowledge graph but lack generalization ability to unseen examples, while deep learning models enhance powerful feature representation ability but are hard to interpret. Moreover, direct reasoning over large-scale knowledge graph can be costly due to the huge search space of pathfinding. We approach the problem through a novel coarse-to-fine neural symbolic reasoning method called NSER. It first generates a coarse-grained explanation to capture abstract user behavioral pattern, followed by a fined-grained explanation accompanying with explicit reasoning paths and recommendations inferred from knowledge graph. We extensively experiment on four real-world datasets and observe substantial gains of recommendation performance compared with state-of-the-art methods as well as more diversified explanations in different granularity.

연구 동기 및 목표

• 순수한 상징적 방법(일반화 능력 부족)과 심층 학습 모델(해석 가능성 부족)의 한계를 해결하기 위해 설명 가능한 추천 분야에서의 문제를 해결한다.
• 사전에 정의된 또는 후행적 설명이 아닌, 추천 과정 중에 진행 중인 계층적 설명을 가능하게 하는 방법을 개발한다.
• 학습된 추상 패턴을 통해 대규모 지식 그래프에서 경로 탐색의 계산 비용을 줄인다.
• 신경 표현 학습과 상징적 경로 추론을 모두 활용하여 추천 성능을 향상시킨다.

제안 방법

• NSER는 두 단계 추론 파이프라인을 사용한다: 먼저 추상적인 사용자 행동 패턴을 나타내는 신경-기호 메타레이아웃으로 구성된 굵은 틀의 설명을 생성한다.
• 이 굵은 틀의 설명은 사용자별로 개인화되고 재구성 가능한 미분 가능한 신경 관계 모듈들로 구성된다.
• 학습된 메타레이아웃을 바탕으로 NSER는 지식 그래프 상에서 세밀한 추론 경로를 추론하며, 최종 노드는 최종 추천으로 기능한다.
• 모델은 경로 정규화(정확한 상징적 경로를 확보하기 위해)와 순위 손실(추천 정확도 향상)을 결합한 공동 최적화 목적 함수를 사용한다.
• 후보 메타경로의 품질을 추정하기 위해 히우리스틱 함수를 사용하여 효과적인 추상 레이아웃 선택을 안내한다.
• 모델은 종속 모델(HeteroEmbed)을 사용해 엔드 투 엔드로 훈련되며, 일반화 능력이 향상되어 오히려 종속 모델을 초월하는 추천 성능을 달성한다.

실험 결과

연구 질문

• RQ1 코어스-투-파인 신경-기호 추론 프레임워크는 기존 방법에 비해 추천 정확도와 설명의 다양성 측면에서 향상되는가?
• RQ2 심층 학습과 상징적 경로 추론을 통합함으로써 일반화 능력을 훼손하지 않으면서 모델의 해석 가능성은 어떻게 향상되는가?
• RQ3 추상 메타레이아웃의 사용이 대규모 지식 그래프에서 경로 탐색의 탐색 공간을 어느 정도 줄이는가?
• RQ4 다양한 전략(균일, 사전 지식, 히우리스틱)을 사용한 추상 메타레이아웃 생성이 추천 성능에 어떤 영향을 미치는가?
• RQ5 경로 정규화와 순위 손실 간의 트레이드오프는 최종 추천 품질에 어떤 영향을 미치는가?

주요 결과

• NSER는 네 가지 데이터셋 전반에서 최고의 베이스라인인 HeteroEmbed를 모두 초월하며, 의류 데이터셋에서 Recall 6.340%를 기록하여 HeteroEmbed의 5.466%를 상회한다.
• 순위 손실 구성 요소 없이도 NSER는 강력한 추천 성능 유지를 보이며, 표현 학습의 견고성을 시사한다.
• 히우리스틱 기반 메타레이아웃 생성 방법은 균일 및 사전 지식 기반 레이아웃보다 추천 품질 측면에서 뚜렷한 승리를 거두었다.
• 경로 정규화와 순위 손실 간에 최적의 트레이드오프가 존재한다; 후자의 가중치를 지나치게 높이면 경로 적합도 정확도가 감소하여 성능이 떨어진다.
• NSER는 종속 모델인 HeteroEmbed보다 더 나은 추천 결과를 달성하였으며, 이는 이중 단계 추론 과정이 더 나은 패턴 탐색과 일반화 능력을 가능하게 한다는 것을 시사한다.