[논문 리뷰] Knowledge Aware Conversation Generation with Explainable Reasoning over Augmented Graphs

Zhibin Liu, Zheng-Yu Niu외 2명|arXiv (Cornell University)|2019. 03. 25.

Topic Modeling참고 문헌 26인용 수 11

한 줄 요약

이 논문은 개방형 대화에서 설명 가능하고 다단계 추론이 가능한 지식 기반 대화 시스템인 AKGCM을 제안한다. 이 시스템은 사실성 지식 삼중항과 비사실성 텍스트를 통합하여 보강된 지식 그래프를 구성한다. 강화학습 기반의 그래프 추론과 기계적 읽기 이해 기술을 융합함으로써 장문의 정점 정보를 효과적으로 활용하며, 두 가지 벤치마크에서 최신 기술 수준의 성능과 향상된 설명 가능성을 달성한다.

ABSTRACT

Two types of knowledge, triples from knowledge graphs and texts from documents, have been studied for knowledge aware open-domain conversation generation, in which graph paths can narrow down vertex candidates for knowledge selection decision, and texts can provide rich information for response generation. Fusion of a knowledge graph and texts might yield mutually reinforcing advantages, but there is less study on that. To address this challenge, we propose a knowledge aware chatting machine with three components, an augmented knowledge graph with both triples and texts, knowledge selector, and knowledge aware response generator. For knowledge selection on the graph, we formulate it as a problem of multi-hop graph reasoning to effectively capture conversation flow, which is more explainable and flexible in comparison with previous work. To fully leverage long text information that differentiates our graph from others, we improve a state of the art reasoning algorithm with machine reading comprehension technology. We demonstrate the effectiveness of our system on two datasets in comparison with state-of-the-art models.

연구 동기 및 목표

• 기존의 지식 기반 대화 시스템이 구조화된 삼중항이나 비구조화된 텍스트를 별도로 사용하는 데서 비롯되는 한계를 해결하기 위해.
• 보강된 지식 그래프를 기반으로 추적 가능한 다단계 추론 경로를 제공함으로써 모델의 설명 가능성을 향상시키기 위해.
• 그래프 정점에 통합된 장문의 텍스트 지식을 완전히 활용함으로써 응답 생성 품질을 향상시키기 위해.
• 대화에서 지식 선택을 위한 기계적 읽기 이해와 그래프 추론을 융합하는 것이 효과적인지 입증하기 위해.

제안 방법

• 비구조화된 텍스트(예: 영화 리뷰, 서술문장 등)를 사실성 지식 그래프의 실체에 대응시켜 보강된 지식 그래프를 구성하며, 정점에 장문의 텍스트를 통합한다.
• 딥 강화학습 에이전트(INSPIRED BY MINERVA)를 활용해 다단계 그래프 추론 문제로 지식 선택을 공식화하여 그래프를 탐색하고 관련 지식을 선별한다.
• 입력 문장과 후보 지식 정점 간의 세분화된 의미 매칭을 수행하기 위해 기계적 읽기 이해(MRC) 기술을 추론 과정에 통합한다.
• 선택된 지식 정확도 향상을 위해 입력 메시지와 지식 텍스트 콘텐츠 간의 상호작용을 모델링하기 위해 이차형 주의 메커니즘을 사용한다.
• 선택된 지식를 기반으로 응답 생성을 수행하기 위해 인코더-디코더 아키텍처를 활용한다.
• 지식 선택은 그래프 추론을 통해 수행하고, 이후 선택된 지식를 활용해 응답 생성을 수행하는 이단계 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 비구조화된 텍스트를 지식 그래프에 통합함으로써 개방형 대화 시스템의 응답 품질 향상이 가능할까?
• RQ2 보강된 지식 그래프를 기반으로 한 다단계 그래프 추론이 블랙박스 주의 메커니즘에 비해 모델의 설명 가능성을 어떻게 향상시키는가?
• RQ3 정점에 장문의 텍스트가 포함된 경우, 기계적 읽기 이해 기술을 통합함으로써 지식 선택 성능 향상은 어느 정도 이루어지는가?
• RQ4 저자원 환경에서 제안된 시스템이 강력한 베이스라인에 비해 더 잘 일반화되는가?
• RQ5 모델은 문맥에 민감한 추론 패턴(예: 의견 요청 쿼리에 대해 댓글 유형의 정점 선택)을 학습할 수 있는가?

주요 결과

• 전체 AKGCM 모델은 두 개의 개방형 대화 데이터셋에서 최신 기술 수준의 성능을 달성하며, BLEU 및 ROUGE 점수에서 기존 모델을 모두 앞서며 성능을 뛰어넘는다.
• 보강된 그래프에서 비사실성 지식을 제거하면 성능에 심각한 하락이 발생함을 확인하였으며, 이는 장문의 지식이 응답 생성에 핵심적인 역할을 한다는 것을 입증한다.
• 제거 실험 결과, MRC 구성요소와 이차형 주의 메커니즘이 지식 선택 정확도 향상에 크게 기여하며, 둘 중 하나를 제거할 경우 성능이 떨어지는 것으로 나타났다.
• 저자원 조건에서 AKGCM는 가장 강력한 베이스라인(BiDAF+G)보다 더 잘 일반화되며, 훈련 데이터의 10%만으로도 만족스러운 성능을 유지한다.
• 모델는 의견 관련 쿼리에 대해 댓글 유형의 정점 선택과 같은 문맥 기반 추론 패턴을 학습함으로써 설명 가능성과 적응성을 입증한다.
• 추론 과정에서 탐색된 그래프 경로는 의미적으로 유의미하며 대화 흐름을 반영하고 있어, 시스템의 설명 가능성에 대한 타당성을 검증한다.