[논문 리뷰] Path-Enhanced Multi-Relational Question Answering with Knowledge Graph Embeddings

Guanglin Niu, Yang Li외 7명|arXiv (Cornell University)|2021. 10. 29.

Advanced Graph Neural Networks참고 문헌 19인용 수 8

한 줄 요약

이 논문은 경로와 지식 임베딩을 강화한 다중관계 KBQA 모델인 PKEEQA를 제안한다. 이 모델은 사용자 질문 임베딩과 다단계 경로 간의 이중성 상관관계를 사용자 정의 가능한 경로 표현 기반으로 모델링함으로써 정답 정확도를 향상시킨다. 기존의 기준 모델들보다 뛰어난 성능을 보이며, 특히 희소 지식 그래프에서 뛰어난 성능을 발휘하고, 검색된 경로를 통해 설명 가능성을 제공한다.

ABSTRACT

The multi-relational Knowledge Base Question Answering (KBQA) system performs multi-hop reasoning over the knowledge graph (KG) to achieve the answer. Recent approaches attempt to introduce the knowledge graph embedding (KGE) technique to handle the KG incompleteness but only consider the triple facts and neglect the significant semantic correlation between paths and multi-relational questions. In this paper, we propose a Path and Knowledge Embedding-Enhanced multi-relational Question Answering model (PKEEQA), which leverages multi-hop paths between entities in the KG to evaluate the ambipolar correlation between a path embedding and a multi-relational question embedding via a customizable path representation mechanism, benefiting for achieving more accurate answers from the perspective of both the triple facts and the extra paths. Experimental results illustrate that PKEEQA improves KBQA models' performance for multi-relational question answering with explainability to some extent derived from paths.

연구 동기 및 목표

• 지식 그래프 임베딩을 사용하고도 경로 의미론을 忽시하는 기존 KBQA 모델의 한계를 해결한다.
• 다단계 경로 정보를 활용하여 지식 그래프의 희소성 상황에서도 다중관계 KBQA의 정답 정확도를 향상시킨다.
• 주제 엔티티에서 답변 엔티티로 이르는 추적 가능한 경로를 제공함으로써 KBQA의 설명 가능성을 확보한다.
• 재학습 없이도 기존 KBQA 모델을 향상시킬 수 있는 플러그인 방식의 추론 시 모듈을 개발한다.
• 경로 임베딩을 질문 및 엔티티 임베딩과 통합하여 삼중항 사실을 초월한 의미적 상관관계를 모델링한다.

제안 방법

• TransE, ComplEx, RotatE의 세 가지 KGE 모델을 사용해 지식 그래프 임베딩을 사전 학습한다.
• 지식 그래프 내에서 주제 엔티티에서 후보 답변 엔티티로 이르는 다단계 관계 경로를 구성한다.
• 관계 시퀀스 기반으로 경로 임베딩을 생성하는 사용자 정의 가능한 경로 표현 기반 메커니즘을 설계한다.
• 학습된 상호작용 함수를 사용해 경로 임베딩과 질문 임베딩 간의 이중성 상관관계 스코어를 계산한다.
• 기존의 KGE 기반 스코어와 함께 경로 기반 스코어를 최종 답변 스코어 함수에 통합한다.
• 추론 과정에서 경로 기반 스코어와 삼중항 기반 스코어의 기여도를 조절하기 위해 학습 가능한 가중치 파rameter를 적용한다.

실험 결과

연구 질문

• RQ1 다단계 경로 의미론을 통합함으로써 삼중항 기반 지식 그래프 임베딩을 초월한 다중관계 KBQA의 성능 향상이 가능한가?
• RQ2 사용자 정의 가능한 경로 표현 기반 메커니즘이 경로와 다중관계 질문 간의 의미적 상관관계를 얼마나 효과적으로 포착하는가?
• RQ3 경로 정보 통합이 주제 엔티티에서 답변 엔티티로 이르는 추적 가능한 추론 경로를 제공함으로써 KBQA의 설명 가능성을 향상시키는가?
• RQ4 특히 링크가 누락된 경우에 지식 그래프의 희소성 상황에서 제안된 모델의 성능은 어떠한가?
• RQ5 TransE, ComplEx, RotatE 중에서 경로 표현과 결합했을 때 가장 높은 성능을 내는 KGE 모델은 무엇인가?

주요 결과

• PKEEQA는 전체 지식 그래프를 사용할 때 MetaQA에서 최신 기준 성능을 달성하였으며, 1단계 질문에 대해 98.0%, 2단계 질문에 대해 99.3%, 3단계 질문에 대해 95.1%의 정확도를 기록하였다.
• 반값 지식 그래프 설정(KG-Half)에서도 PKEEQA는 1단계 질문에 대해 85.0%, 2단계 질문에 대해 92.5%, 3단계 질문에 대해 70.7%의 성능을 기록하여 모든 기준 모델을 압도했다.
• 제거 실험 결과, 경로 정보(-Path)와 이중성 상관관계 메커니즘(-PT+PS)이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 떨어졌다.
• ComplEx 기반 및 곱셈 연산자 기반 경로 표현을 사용한 PKEEQA가 TransE 및 RotatE를 사용한 모델보다 더 뛰어난 성능을 보였다.
• 주제 엔티티에서 답변 엔티티로 이르는 실제 경로를 검색하고 표시함으로써 설명 가능성을 제공하여 사용자 신뢰도를 향상시켰다.
• PKEEQA는 재학습 없이도 추론 시점에 기존 KBQA 모델을 향상시킬 수 있는 플러그인 모듈로서 실용적인 구현 가능성을 입증했다.