[논문 리뷰] Improving Background Based Conversation with Context-aware Knowledge Pre-selection

Yushuang Zhang, Pengjie Ren외 1명|arXiv (Cornell University)|2019. 06. 16.

Speech and dialogue systems참고 문헌 21인용 수 17

한 줄 요약

이 논문은 배경 기반 대화를 위한 생성 기반 모델인 Context-aware Knowledge Pre-selection (CaKe)를 제안한다. CaKe는 이전 발화를 동적 쿼리로 사용하여 이분기적 주의 메커니즘을 통해 관련 배경 지식을 사전 선택함으로써 지식 선택을 향상시킨다. CaKe는 유창성과 정보성 측면에서 최신 기준 모델을 크게 능가하며, GTTP보다 더 자연스럽고 관련성이 높은 응답을 생성하지만, 추출 기반 방법의 부자연스러움을 피한다.

ABSTRACT

Background Based Conversations (BBCs) have been developed to make dialogue systems generate more informative and natural responses by leveraging background knowledge. Existing methods for BBCs can be grouped into two categories: extraction-based methods and generation-based methods. The former extract spans frombackground material as responses that are not necessarily natural. The latter generate responses thatare natural but not necessarily effective in leveraging background knowledge. In this paper, we focus on generation-based methods and propose a model, namely Context-aware Knowledge Pre-selection (CaKe), which introduces a pre-selection process that uses dynamic bi-directional attention to improve knowledge selection by using the utterance history context as prior information to select the most relevant background material. Experimental results show that our model is superior to current state-of-the-art baselines, indicating that it benefits from the pre-selection process, thus improving in-formativeness and fluency.

연구 동기 및 목표

• 생성 기반 대화 시스템이 배경 지식을 효과적으로 활용하는 데에 한계가 있음을 해결하기 위해.
• 대화 이력을 지식 선택을 위한 사전 쿼리로 통합하여 응답의 유창성과 정보성을 향상시키기 위해.
• 직접적인 배경 스파이크 추출에 의존함으로써 부자연스러운 응답이 발생하는 것을 줄이기 위해.
• 응답 생성 이전에 지식의 관련성을 향상시키는 사전 선택 기반 메커니즘을 개발하기 위해.
• 오픈 도메인 대화 시스템에서 정보성과 자연스러움의 균형을 맞추기 위해.

제안 방법

• 이전 발화의 인코더 상태를 쿼리로 사용하여 관련 배경 지식를 식별하는 컨텍스트 인식 지식 사전 선택 모듈을 도입한다.
• BiDAF에서 영감을 얻은 수정된 이중 주의 메커니즘을 사용하여 정확한 토큰 수준의 관련성 스코어를 계산하기 위해 컨텍스트-배경 및 배경-컨텍스트 주의를 계산한다.
• 동적 이중 주의를 적용하여 장기간의 배경 텍스트 시퀀스에서 가장 관련성이 높은 스팬을 식별한다.
• 사전 선택된 지식을 시퀀스-투-시퀀스 생성 프레임워크에 통합하여 응답 생성을 수행한다.
• 이해관계 기반 응답 생성을 위해 주의 메커니즘을 갖춘 계층적 인코더-디코더 아키텍처를 사용한다.
• 이전 발화 컨텍스트를 생성뿐만 아니라 지식 선택을 위한 사전으로도 활용하여 장기 시퀀스에서의 정보 손실 문제를 완화한다.

실험 결과

연구 질문

• RQ1 대화 이력을 쿼리로 사용할 경우 배경 기반 대화에서 지식 선택이 향상되는가?
• RQ2 생성 이전에 관련 지식을 사전 선택하면 더 정보성 있고 자연스러운 응답이 생성되는가?
• RQ3 CaKe는 최신 기준 생성 기반 및 추출 기반 모델과 비교해 지식 활용도와 응답 품질 측면에서 어떻게 다른가?
• RQ4 사전 선택 기반 메커니즘이 관련 없거나 맥락에서 벗어난 배경 지식을 선택할 위험을 어느 정도 줄이는가?
• RQ5 컨텍스트 인식 사전 선택이 장기 대화 이력에서의 정보 손실 문제를 완화하는 데 기여하는가?

주요 결과

• CaKe는 유창성과 정보성 측면에서 최신 기준 생성 기반 베이스라인인 GTTP를 크게 능가한다.
• BiDAF와 같은 추출 기반 방법보다 더 자연스러운 응답을 생성하지만, 여전히 강력한 지식 기반 유지 능력을 유지한다.
• 주의 가중치의 시각화 결과 CaKe의 컨텍스트-배경 주의가 배경 텍스트에서 관련 토큰(예: 두 번째 예시에서 'fun' 단어)를 효과적으로 강조하고 있음을 확인할 수 있다.
• 전체 대화 컨텍스트를 쿼리로 활용함으로써 사전 선택 기반 메커니즘이 장기간의 배경 텍스트에서 지식 선택 정확도를 향상시킨다.
• 개선된 성능에도 불구하고 CaKe는 종종 'I agree' 또는 'I know'와 같은 일반적인 표현을 생성하는 경향이 있어 응답 다양성 향상이 필요하다.
• 배경 텍스트가 길어질수록 사전 선택 모듈의 성능이 저하됨을 확인하여 확장성에 한계가 있음을 시사한다.