[논문 리뷰] RHO ($ρ$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding

Ziwei Ji, Zihan Liu외 5명|arXiv (Cornell University)|2022. 12. 03.

Topic Modeling인용 수 5

한 줄 요약

RHO ($ ho$)는 지식 그래프(KGs)에서 국소적이고 전역적인 지식 기반을 통합하고, 지식 그래프 서브그래프 워크 기반의 응답 재순서 정렬 메커니즘을 통해 개방형 대화에서 환각 현상을 줄이는 지식 기반 대화 시스템이다. 이는 환각 현상을 크게 감소시켜 FeQA에서 17.54% 향상과 인간 평가 기준 환각 현상 32.93% 감소를 달성하면서도, 지식 그래프 엔티티와 관계의 강도 있는 커버리지와 응답 품질을 유지한다.

ABSTRACT

Dialogue systems can leverage large pre-trained language models and knowledge to generate fluent and informative responses. However, these models are still prone to produce hallucinated responses not supported by the input source, which greatly hinders their application. The heterogeneity between external knowledge and dialogue context challenges representation learning and source integration, and further contributes to unfaithfulness. To handle this challenge and generate more faithful responses, this paper presents RHO ($ρ$) utilizing the representations of linked entities and relation predicates from a knowledge graph (KG). We propose (1) local knowledge grounding to combine textual embeddings with the corresponding KG embeddings; and (2) global knowledge grounding to equip RHO with multi-hop reasoning abilities via the attention mechanism. In addition, we devise a response re-ranking technique based on walks over KG sub-graphs for better conversational reasoning. Experimental results on OpenDialKG show that our approach significantly outperforms state-of-the-art methods on both automatic and human evaluation by a large margin, especially in hallucination reduction (17.54% in FeQA).

연구 동기 및 목표

• 대화 기록이나 외부 지식으로부터 검증이 불가능하거나 이를 위반하는 응답을 생성하는 지식 기반 대화 시스템에서 지속적인 환각 문제를 해결하기 위해.
• 비정형 대화 텍스트와 정형 지식 그래프(KG) 데이터 사이의 표현 및 융합 갭을 완화하기 위해.
• 대화 품질이나 유창성 손실 없이 응답 생성의 신뢰성 향상을 위해.
• 정형 지식 통합과 리포지터리 인식 재순서 정렬을 통해 내재적 및 외재적 신뢰성 향상을 도모하는 방법을 개발하기 위해.
• 응답을 검증 가능한 지식 서브그래프에 기반시켜 더 설명 가능하고 신뢰할 수 있는 대화 시스템을 제공하기 위해.

제안 방법

• 국소적 지식 기반은 대화 컨텍스트 내 텍스트 언급과 직접적으로 지식 그래프(KG)의 엔티티 및 관계 임베딩을 융합한다.
• 전역적 지식 기반은 서브그래프 삼중항의 메모리 백업에 대한 어텐션 메커니즘을 사용하여 다단계 추론과 동적 지식 통합을 가능하게 한다.
• 응답 재순서 정렬 모듈은 지식 그래프 서브그래프를 기반으로 한 워크를 활용하여 지식 경로와의 일치도를 평가하고 응답을 우선순위 정렬한다.
• 모델은 인코더-디코더 프레임워크 내에서 국소적 및 전역적 기반을 결합하여 대화와 지식 모odal 간 표현 조화를 향상시킨다.
• 지식 그래프 임베딩은 사전 훈련되며, 언급 탐지 및 연결 모듈을 통해 대화 내 언급에 연결된다.
• 프레임워크는 자동 평가 및 인간 평가를 통한 신뢰성 평가를 수행하면서 OpenDialKG 데이터셋에서 엔드 투 엔드로 미세조정된다.

실험 결과

연구 질문

• RQ1 어떻게 정형 지식에 기반한 응답 기반을 통해 지식 기반 대화 시스템에서 내재적 환각 현상을 줄일 수 있는가?
• RQ2 서브그래프 삼중항에 대한 어텐션을 통한 전역적 지식 기반은 다단계 추론과 응답의 신뢰성 향상에 어느 정도 기여하는가?
• RQ3 지식 그래프 서브그래프 워크 기반의 재순서 정렬 메커니즘이 지식 일관성을 강제화함으로써 외재적 환각 현상을 효과적으로 줄일 수 있는가?
• RQ4 국소적 및 전역적 기반의 상호보완적 작용은 단일 메커니즘을 사용하는 경우와 비교해 신뢰성에 어떤 영향을 미치는가?
• RQ5 신뢰성 지표와 전통적인 자동 평가 지표인 BLEU 또는 ROUGE 사이에 어떤 트레이드오프가 존재하는가?

주요 결과

• RHO는 OpenDialKG 데이터셋에서 최신 기술 기준 대비 FeQA 신뢰성 지표에서 17.54% 향상된 성능을 달성했다.
• 인간 평가 결과, 환각 빈도가 32.93% 감소했으며, 응답이 지식 소스에 훨씬 더 충실한 것으로 나타났다.
• 국소 지식 기반(LKG)과 전역 지식 기반(GKG)을 모두 사용하는 모델(LKG+GKG)이 FeQA, QuestEval 및 엔티티 커버리지 측면에서 단일 메커니즘을 사용하는 모델보다 뛰어난 성능을 보였다.
• 지식 그래프 서브그래프 워크 기반의 응답 재순서 정렬은 유창성이나 커버리지 저하 없이도 신뢰성을 추가로 향상시켰다.
• 모델는 지식 그래프의 엔티티와 관계를 더 넓게 커버하는 것으로 나타나 더 강력한 지식 활용 능력을 보였다.
• 오류 분석 결과, 외재적 환각 현상이 여전히 가장 흔한 실패 유형임을 확인했으며, 이는 훈련 데이터 품질 향상과 사실 확인 통합의 잠재적 개선 여지를 시사한다.