[논문 리뷰] Knowledge Graph-Augmented Language Models for Knowledge-Grounded Dialogue Generation

Minki Kang, Jin Myung Kwak외 2명|arXiv (Cornell University)|2023. 05. 30.

Topic Modeling인용 수 9

한 줄 요약

SURGE는 지식 그래프에서 컨텍스트-관련 하위그래프를 검색하고, 이를 언어 모델에 불변적으로 인코딩하며, 그래프-텍스트 대비 학습을 사용하여 사실적 충실도가 더 높은 지식 기반 대화를 생성합니다.

ABSTRACT

Language models have achieved impressive performances on dialogue generation tasks. However, when generating responses for a conversation that requires factual knowledge, they are far from perfect, due to an absence of mechanisms to retrieve, encode, and reflect the knowledge in the generated responses. Some knowledge-grounded dialogue generation methods tackle this problem by leveraging facts from Knowledge Graphs (KGs); however, they do not guarantee that the model utilizes a relevant piece of knowledge from the KG. To overcome this limitation, we propose SUbgraph Retrieval-augmented GEneration (SURGE), a framework for generating context-relevant and knowledge-grounded dialogues with the KG. Specifically, our SURGE framework first retrieves the relevant subgraph from the KG, and then enforces consistency across facts by perturbing their word embeddings conditioned by the retrieved subgraph. Then, we utilize contrastive learning to ensure that the generated texts have high similarity to the retrieved subgraphs. We validate our SURGE framework on OpendialKG and KOMODIS datasets, showing that it generates high-quality dialogues that faithfully reflect the knowledge from KG.

연구 동기 및 목표

• 외부 지식이 필요할 때 PLM이 생성하는 대화에서 사실상의 부정확성을 동기 부여하고 해결한다.
• 생성을 조건화하기 위해 관련 KG 사실만 선택하는 컨텍스트-관련 하위그래프 검색기를 개발한다.
• KG 정보를 PLM에 통합하기 위한 불변하고 효율적인 그래프 인코딩을 제안한다.
• 검색된 KG 지식을 반영하도록 그래프-텍스트 대비 학습을 적용한다.

제안 방법

• GNN 기반 트리플 검색기(p_phi(Z|x)로) G에서 컨텍스트-관련 하위그래프 Z를 검색하는 SURGE를 제안한다.
• Z를 SORT(INV(Z))와 PLM 임베딩에 대한 관계 인식 교란 perturbation beta를 통해 순열- 및 관계 반전 불변 방식으로 인코딩한다.
• Gold 하위그래프가 존재할 때 L_ret를 포함하고, L_sup를 지도학습으로 활용하며, 그래프-텍스트 대비 손실 L_cont를 통해 검색된 하위그래프에 대해 주변화(end-to-end) 학습을 공식화한다.
• 생성된 지식의 사실적 정확성을 평가하기 위해 Knowledge-verifying Question Answering(KQA)을 도입한다.
• OpendialKG와 KOMODIS에서 SURGE를 평가하여 지식 충실도와 표준 지표가 향상됨을 보인다.

Figure 1: Motivation. Existing knowledge-grounded dialogue generation models with a KG often utilize the multi-hop subgraph associated with entities in the dialogue context (e.g., Jane Austen ). However, they suffer from a couple of the following problems: (1) irrelevant knowledge where only 12.6% o

실험 결과

연구 질문

• RQ1 학습된 하위그래프 검색기가 대화 생성에 대해 컨텍스트-관련 KG 사실을 격리할 수 있는가?
• RQ2 불변 그래프 인코딩이 계산량 폭주 없이 PLM을 KG 구조에 신뢰성 있게 조건화하는가?
• RQ3 그래프-텍스트 대비 학습이 충실도를 높이고 지식 기반 대화에서 허황을 줄이는가?
• RQ4 기준 KG 기반 대화 데이터셋에서 SURGE의 성능은 베이스라인과 비교하여 어떤가?
• RQ5 KQA 기반 평가가 생성된 응답의 사실적 정확성을 포착할 수 있는가?

주요 결과

• 대조 학습이 적용된 SURGE 변형들이 OpendialKG에서 베이스라인보다 더 높은 KQA 점수를 얻는다(예: 표 1의 SURGE(contrastive)).
• 컨텍스트-관련 하위그래프를 검색하는 것이 BLEU, ROUGE, F1 지표에서 모든 지식 기반 및 무작위 검색 베이스라인을 능가한다.
• 불변 그래프 인코딩은 순열 및 관계 반전 불변성을 충족하면서도 공간 효율적이다.
• 그래프-텍스트 대비 학습은 검색된 사실과 생성된 응답 간의 일관성을 개선하여 KF1 및 관련 지표를 향상시킨다.
• KOMODIS 결과는 SURGE(당사)의 지식 기반 생성에서 베이스라인보다 더 강력한 지표를 달성함을 보여준다.

Figure 2: Framework Overview. Our framework, SURGE, consists of three parts. First, a context-relevant subgraph retriever $p_{\phi}({\mathcal{Z}}|{\bm{x}})$ retrieves the subgraph ${\mathcal{Z}}$ relevant to the given dialogue history ${\bm{x}}$ from a knowledge graph ${\mathcal{G}}$ (e.g., 1-hop KG