[논문 리뷰] Incremental Transformer with Deliberation Decoder for Document Grounded Conversations

Zekang Li, Cheng Niu외 4명|arXiv (Cornell University)|2019. 07. 20.

Topic Modeling참고 문헌 26인용 수 18

한 줄 요약

이 논문은 문서 지식을 통합한 다중 전환 대화 시스템을 위한 점진적 인코더와 고찰형 디코더를 갖춘 인크리멘탈 트랜스포머를 제안한다. 다중 전환 대화를 점진적으로 인코딩하고 문서 지식을 활용하며, 두 번의 디코딩 단계를 거쳐 일관성을 확보한 후 문서 사실을 통해 응답을 정밀하게 다듬는다. 이 모델은 자동 평가와 수동 평가 모두에서 최신 기준 모델들을 뛰어넘는 성능을 보였다.

ABSTRACT

Document Grounded Conversations is a task to generate dialogue responses when chatting about the content of a given document. Obviously, document knowledge plays a critical role in Document Grounded Conversations, while existing dialogue models do not exploit this kind of knowledge effectively enough. In this paper, we propose a novel Transformer-based architecture for multi-turn document grounded conversations. In particular, we devise an Incremental Transformer to encode multi-turn utterances along with knowledge in related documents. Motivated by the human cognitive process, we design a two-pass decoder (Deliberation Decoder) to improve context coherence and knowledge correctness. Our empirical study on a real-world Document Grounded Dataset proves that responses generated by our model significantly outperform competitive baselines on both context coherence and knowledge relevance.

연구 동기 및 목표

• 문서 수준의 지식을 다중 전환 대화 시스템에 효과적으로 통합하는 문제를 해결하기 위해.
• 기존의 종단간 모델을 넘어서 문서 기반 대화에서 응답의 일관성과 지식 관련성을 향상시키기 위해.
• 응답 초안을 작성하고 배경 지식을 활용해 이를 다듬는 인간의 인지 과정을 모방하기 위해.
• 다중 전환 대화 기록과 관련 문서 내용을 통합한 통합 표현을 설계하기 위해.
• 맥락 일관성과 지식 정확성을 별도로 최적화하는 두 번의 디코딩 단계를 갖춘 메커니즘을 개발하기 위해.

제안 방법

• 자기 주의 및 교차 주의 메커니즘을 사용해 대화 기록과 문서 지식을 순차적이고 맥락 인식적으로 인코딩하는 점진적 트랜스포머를 설계하였다.
• 고찰형 디코더는 두 단계 아키텍처를 사용한다: 첫 번째 단계는 대화 기록과의 일관성을 중심으로 초안 응답을 생성한다.
• 두 번째 단계는 관련 문서 지식에 주의를 기울여 첫 번째 단계의 출력을 다듬어 사실 정확성과 관련성을 향상시킨다.
• 두 번째 단계의 디코더는 대화 맥락과 문서 표현을 모두 활용해 첫 번째 단계 결과를 직접 미세 조정한다.
• 모델은 대화 문장을 관련 문서 파assage와 정렬하기 위해 교차 주의를 사용하고, 디코딩 중에 지식을 동적으로 통합한다.
• 점진적 인코딩 방식은 모델이 전환 간 장거리 의존성을 유지하면서 맥락 표현을 단계적으로 구축할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 두 번의 디코딩 단계를 거친 아키텍처가 문서 기반 대화 생성에서 맥락 일관성과 지식 관련성을 향상시키는 데 효과적인가?
• RQ2 점진적 인코딩 기법이 문서 지식을 통합하면서 다중 전환 맥락을 효과적으로 포착하는 데 얼마나 유용한가?
• RQ3 응답 초안을 작성하고 이를 다듬는 인간의 인지 과정을 모방함으로써 대화 품질이 향상되는가?
• RQ4 제안된 모델이 문서 기반 대화 벤치마크에서 기존의 트랜스포머 기반 기준 모델들을 얼마나 뛰어넘는가?
• RQ5 모델이 관련 지식을 사전에 통합함으로써 향후 대화 전환을 이끌 수 있는가?

주요 결과

• 제안된 모델은 문서 기반 대화 데이터셋에서 경쟁 기준 모델 대비 응답의 일관성과 지식 관련성에서 뚜렷한 향상을 보였다.
• 수동 평가 결과, 모델이 생성한 응답은 맥락적으로 더 일관되며 문서 사실에 더 잘 기반되어 있음을 확인했다.
• 사례 연구를 통해 두 번째 단계가 첫 번째 단계에서 발생한 사실 오류를 효과적으로 수정함으로써 지식 오류를 줄이는 데 기여함을 입증했다.
• 두 번째 단계의 디코더는 첫 번째 단계보다 더 구체적이고 관련성이 높은 문서 정보를 통합함으로써 응답 품질을 향상시켰다.
• 어떤 경우에서는 두 번째 단계의 응답이 지식 기반의 후속 질문을 제시함으로써 향후 대화를 이끌 수 있음을 보여주어 더 높은 대화 인식 능력을 보였다.
• 모델는 정확성뿐 아니라 자연스럽고 맥락에 부합하는 흐름을 갖춘 응답을 생성함으로써 강력한 일반화 능력을 보였다.