[논문 리뷰] Faithful Path Language Modeling for Explainable Recommendation over Knowledge Graph

Giacomo Balloccu, Ludovico Boratto외 3명|arXiv (Cornell University)|2023. 10. 25.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

PEARLM은 추론 가능한 추천 시스템에서 허구적 경로 생성을 방지하기 위해 지식 그래프 연결을 강제하는 지식 그래프 제약 디코딩 메커니즘(KGCD)을 도입한다. 디코딩 중에 유효한 지식 그래프 연결을 유지함으로써 충실하고 허구 없는 경로 생성을 보장한다. 직접 토큰 임베딩 학습과 KGCD를 결합함으로써 PEARLM은 최신 추천 정확도와 설명의 충실도를 달성하며, 손상된 경로를 제거하면서도 모델에 종속되지 않으며 자원 제약 환경에서도 구현 가능하다.

ABSTRACT

The integration of path reasoning with language modeling in recommender systems has shown promise for enhancing explainability but often struggles with the authenticity of the explanations provided. Traditional models modify their architecture to produce entities and relations alternately--for example, employing separate heads for each in the model--which does not ensure the authenticity of paths reflective of actual Knowledge Graph (KG) connections. This misalignment can lead to user distrust due to the generation of corrupted paths. Addressing this, we introduce PEARLM (Path-based Explainable-Accurate Recommender based on Language Modelling), which innovates with a Knowledge Graph Constraint Decoding (KGCD) mechanism. This mechanism ensures zero incidence of corrupted paths by enforcing adherence to valid KG connections at the decoding level, agnostic of the underlying model architecture. By integrating direct token embedding learning from KG paths, PEARLM not only guarantees the generation of plausible and verifiable explanations but also highly enhances recommendation accuracy. We validate the effectiveness of our approach through a rigorous empirical assessment, employing a newly proposed metric that quantifies the integrity of explanation paths. Our results demonstrate a significant improvement over existing methods, effectively eliminating the generation of inaccurate paths and advancing the state-of-the-art in explainable recommender systems.

연구 동기 및 목표

• 언어 모델 기반 설명 가능성 있는 추천 시스템에서 경로 허구 현상 문제를 해결하기 위해.
• 생성된 설명 경로가 기반 지식 그래프에 사실적으로 기반하도록 보장하여 사용자 신뢰도와 시스템 신뢰성을 향상시키기 위해.
• 모델 아키텍처를 변경하지 않고도 지식 그래프 유효성을 강제하는 모델에 종속되지 않는 디코딩 메커니즘을 개발하기 위해.
• 지식 그래프 경로에서 직접 임베딩을 학습함으로써 추천 정확도를 향상시키고, 유용성과 충실도를 동시에 향상시키기 위해.
• 경로 무결성과 사용자 신뢰를 측정하는 새로운 지표를 통해 접근의 효과성을 검증하기 위해.

제안 방법

• 시퀀스 생성 중에 유효한 지식 그래프 전이(엔티티-관계 번갈아 사용)를 강제하는 디코딩 수준의 메커니즘인 지식 그래프 제약 디코딩(KGCD)을 도입한다.
• 엔티티와 관계를 번갈아 생성하는 인과적 언어 모델링 프레임워크를 활용하여, 지식 그래프 경로의 구조적 특성을 그대로 반영한다.
• 지식 그래프 엔티티와 관계에 대한 직접 토큰 임베딩 학습을 활용하여 표현 품질과 모델 성능을 향상시킨다.
• 경로 무결성을 정량화하는 새로운 지표를 도입하여 생성된 설명에서 손상된 경로의 빈도를 측정한다.
• KGCD를 추론 시점에 적용하여, 모델 아키텍처나 학습 과정에 관계없이 모든 생성 경로가 유효하도록 보장한다.
• 사용자 설문 조사를 통해 경로 허구 현상이 신뢰도와 만족도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 KGCD는 설명 가능성 있는 추천 시스템에서 손상되거나 허구적인 경로의 생성을 어느 정도 제거하는가?
• RQ2 지식 그래프 경로에서 직접 토큰 임베딩 학습이 추천 정확도와 설명의 충실도에 어떤 영향을 미치는가?
• RQ3 모델 크기와 샘플 크기가 PEARLM 성능에 미치는 영향은 무엇이며, 특히 경로 길이(3단계 vs. 5단계)와의 관계는 어떠한가?
• RQ4 경로 허구 현상은 추천 시스템에서 사용자 신뢰도와 만족도에 어떤 영향을 미치는가?
• RQ5 KGCD 메커니즘은 아키텍처 수정 없이도 기존의 경로 기반 언어 모델에 적용 가능한가?

주요 결과

• 새로운 경로 무결성 지표로 측정한 결과, PEARLM은 디코딩 중에 유효한 지식 그래프 전이를 강제함으로써 손상된 경로의 생성을 성공적으로 제거하였다.
• 모델는 최신 추천 성능을 달성하였으며, 최적의 샘플 크기에서 distilPEARLM이 더 큰 버전들보다 ML1M 및 LFM1M 데이터셋에서 모두 뛰어난 성능을 보였다.
• 3단계 경로가 5단계 경로보다 더 뛰어난 성능을 보였으며, 이는 경로 길이가 길어질수록 노이즈가 증가하고 일반화 능력이 떨어지기 때문임을 시사한다.
• 직접 토큰 임베딩 학습이 성능 향상의 주요 원동력으로 작용하였으며, 전통적 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 사용자 설문 결과, 허구적인 경로가 사용자 신뢰를 심각하게 약화시키는 것으로 확인되어 설명의 충실성의 필요성을 검증하였다.
• KGCD는 모델에 종속되지 않으며, 아키텍처 수정 없이도 어떤 경로 기반 언어 모델에도 적용되어 설명의 신뢰성을 보장할 수 있다.