[논문 리뷰] Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering

Jian Wang, Junhao Liu외 5명|arXiv (Cornell University)|2019. 12. 16.

Topic Modeling참고 문헌 28인용 수 5

한 줄 요약

이 논문은 지식 기반 질의 응답(KBQA)에서 질문 이해 및 지식 선택 능력을 전이함으로써 개방형 대화에서 사실적 일관성을 향상시키는 지식 인식 대화 생성 모델인 TransDG를 제안한다. 사전 훈련된 KBQA 모델, 응답 유도 어텐션, 다단계 디코딩 전략을 통합함으로써 TransDG는 더 정보가 풍부하고 맥락적으로 정확한 응답을 생성하며, BLEU 및 실체 관련 점수에서 이전 방법들에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Neural network models usually suffer from the challenge of incorporating commonsense knowledge into the open-domain dialogue systems. In this paper, we propose a novel knowledge-aware dialogue generation model (called TransDG), which transfers question representation and knowledge matching abilities from knowledge base question answering (KBQA) task to facilitate the utterance understanding and factual knowledge selection for dialogue generation. In addition, we propose a response guiding attention and a multi-step decoding strategy to steer our model to focus on relevant features for response generation. Experiments on two benchmark datasets demonstrate that our model has robust superiority over compared methods in generating informative and fluent dialogues. Our code is available at https://github.com/siat-nlp/TransDG.

연구 동기 및 목표

• 기존 모델이 유창하지만 사실적으로 얕은 응답을 생성하는 문제를 해결하기 위해 공통 지식을 개방형 대화 시스템에 통합하는 데 목적이 있다.
• KBQA에서 유도된 질문 표현 및 지식 매칭 능력을 전이하여 발화 이해 및 사실 지식 선택을 향상시킴으로써 대화 응답 품질을 개선하는 데 목적이 있다.
• 자기회귀적 디코딩에서의 전역 맥락 부족 문제를 해결하기 위해 입력 포스트와 관련 지식 및 최종 응답을 연결하는 다단계 디코딩 전략을 도입하는 데 목적이 있다.
• 상위-k 유사 응답 후보를 활용하여 정제하는 데 목적이 있는 응답 유도 어텐션 메커니즘을 도입하여 생성 과정에서의 특징 집중도를 향상시키는 데 목적이 있다.
• 지식 기반 대화 생성에서 KBQA에서의 지식 전이가 생성된 대화의 정보성과 사실 정확성을 뚜렷이 향상시킬 수 있음을 입증하는 데 목적이 있다.

제안 방법

• 질문과 후보 답변를 인코딩하는 레이어와 지식 기반에서 관련 사실을 검색하는 지식 선택 레이어를 갖춘 사전 훈련된 KBQA 모델을 훈련한다.
• 사전 훈련된 KBQA 모델의 질문 표현 및 지식 선택 모듈을 대화 인코더와 디코더로 이관하여 포스트 이해 및 사실 검색 능력을 향상시킨다.
• 유사 포스트의 상위-k 검색된 응답을 사용하여 관련 특징을 정제하고 생성 과정에서의 모델 집중도를 유도하는 응답 유도 어텐션 메커니즘을 도입한다.
• 두 단계의 디코딩 전략을 구현한다: 첫 번째 디코더는 관련 KB 사실을 바탕으로 초안 응답을 생성하고, 두 번째 디코더는 첫 번째 단계의 맥락과 추가적인 지식 매칭을 활용하여 이를 보완한다.
• 질문 표현을 KBQA로부터 보강한 Gated Recurrent Units(GRUs)를 사용하여 시퀀스 인코딩을 수행함으로써 대화 포스트에서 개체 및 관계 인식 능력을 향상시킨다.
• 퍼즐리티, BLEU 점수, 실체 관련 점수를 최적화하기 위해 대화 데이터셋에서 전체 모델을 엔드 투 엔드로 미세 조정한다.

실험 결과

연구 질문

• RQ1 KBQA에서 유도된 질문 표현 및 지식 선택 능력을 전이함으로써 대화 생성에서 사실 지식 통합을 향상시킬 수 있는가?
• RQ2 다단계 디코딩 전략은 지식 일관성 측면에서 입력 포스트와 생성된 응답 간의 연결을 어떻게 향상시키는가?
• RQ3 응답 유도 어텐션 메커니즘이 생성된 응답의 관련성과 정보성에 얼마나 기여하는가?
• RQ4 각 구성 요소(KBQA 전이, 다단계 디코딩, 응답 유도)가 전체 대화 품질에 기여하는 정도는 어떠한가?
• RQ5 직접적인 지식 기반 검색 대신 사전 훈련된 KBQA 능력을 활용함으로써 지식 인식 대화 생성을 뚜렷이 향상시킬 수 있는가?

주요 결과

• TransDG는 37.53의 퍼즐리티를 기록하여 질문 표현 전이를 하지 않은 아블레이션 모델(w/o QRT: 42.17)보다 유의미하게 낮아 시퀀스 모델링 능력이 향상됨을 시사한다.
• 실체 점수 1.207을 기록하여 지식 선택 기능을 제거한 아블레이션 모델(w/o KST: 0.774)보다 뛰어난 성능을 보이며 사실 지식 활용 능력 향상을 입증한다.
• BLEU-1 점수 0.1807과 BLEU-2 점수 0.0178는 기준 응답과 강한 유창성 및 n-gram 일치도를 보임을 나타낸다.
• 아블레이션 연구 결과, KBQA 전이 모듈(QRT 및 KST)을 제거할 경우 성능 저하가 가장 크게 발생함을 확인하여 이들의 지식 통합에서의 핵심적 역할을 입증한다.
• 응답 유도 어텐션 메커니즘은 w/o RGA 버전 대비 BLEU-1 점수를 0.0103 향상시켜 관련 특징 집중의 효과를 입증한다.
• 다단계 디코딩 전략(w/o SSD)은 BLEU-1 점수 0.1804를 기록하여 전체 모델과 거의 유사한 성능을 보이며 이 전략이 응답 품질 향상에 뚜렷한 기여를 한다는 것을 시사한다.