[논문 리뷰] Policy-Driven Neural Response Generation for Knowledge-Grounded Dialogue Systems

Behnam Hedayatnia, Karthik Gopalakrishnan외 4명|arXiv (Cornell University)|2020. 05. 26.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 지식 기반 대화 시스템을 위한 정책 기반 신경 응답 생성 프레임워크를 제안한다. 이 프레임워크는 지식 문장, 대화 액트, 주제 정보를 포함한 액션 플랜을 통해 응답 생성을 안내한다. 이 플랜을 조건부로 시퀀스 투 시퀀스 모델을 적용함으로써 응답의 관련성과 제어 가능성 향상을 도모하며, 문장 수준의 정책이 턴 수준 및 베이스라인 모델보다 자동 평가 및 인간 평가 모두에서 뛰어난 성능을 보인다.

ABSTRACT

Open-domain dialogue systems aim to generate relevant, informative and engaging responses. Seq2seq neural response generation approaches do not have explicit mechanisms to control the content or style of the generated response, and frequently result in uninformative utterances. In this paper, we propose using a dialogue policy to plan the content and style of target responses in the form of an action plan, which includes knowledge sentences related to the dialogue context, targeted dialogue acts, topic information, etc. The attributes within the action plan are obtained by automatically annotating the publicly released Topical-Chat dataset. We condition neural response generators on the action plan which is then realized as target utterances at the turn and sentence levels. We also investigate different dialogue policy models to predict an action plan given the dialogue context. Through automated and human evaluation, we measure the appropriateness of the generated responses and check if the generation models indeed learn to realize the given action plans. We demonstrate that a basic dialogue policy that operates at the sentence level generates better responses in comparison to turn level generation as well as baseline models with no action plan. Additionally the basic dialogue policy has the added effect of controllability.

연구 동기 및 목표

• 기존의 순차적-순차적 대화 모델에서 콘텐츠 및 스타일 제어의 부족으로 인해 정보가 부족한 응답이 자주 생성되는 문제를 해결하기 위해.
• 지식, 대화 액트, 주제를 포함한 액션 플랜 형태로 응답 콘텐츠와 스타일을 사전에 계획하는 대화 정책을 개발하기 위해.
• 액션 플랜을 조건부로 신경 응답 생성기를 조정하여 문장 수준 및 턴 수준에서 응답 품질을 향상시키기 위해.
• 모델이 주어진 액션 플랜을 효과적으로 구현하는지, 그리고 정책 설계(문장 수준 대비 턴 수준)가 성능에 영향을 미치는지 평가하기 위해.
• 자동 평가 및 인간 평가를 통해 응답의 적절성과 제어 가능성이 향상되었음을 입증하기 위해.

제안 방법

• 액션 플랜에 필요한 속성(지식 문장, 대화 액트, 주제 정보 등)을 추출하기 위해 Topical-Chat 데이터셋을 주석 처리하기 위해.
• 대화 맥락에서 액션 플랜을 예측하는 대화 정책 모델을 설계하며, 문장 수준 및 턴 수준에서 작동하는 변형을 포함하기 위해.
• 예측된 액션 플랜을 조건부로 삼아 시퀀스 투 시퀀스 신경 응답 생성기를 조정하여 맥락에 부합하고 스타일이 일치하는 응답을 생성하기 위해.
• 액션 플랜을 문장 수준 및 턴 수준에서 응답 생성을 안내하는 제어 메커니즘으로 사용하기 위해.
• 자동 평가 지표와 인간 평가를 활용하여 응답 품질 및 플랜 실현 정도를 평가하기 위해 모델을 훈련하고 평가하기 위해.
• 액션 플랜이 없는 베이스라인 모델과 대비하여 문장 수준 및 턴 수준 정책 모델의 성능을 비교하기 위해.

실험 결과

연구 질문

• RQ1 지식, 대화 액트, 주제 정보를 포함한 액션 플랜을 통해 콘텐츠와 스타일을 사전 계획하는 대화 정책이 지식 기반 대화 시스템에서 생성된 응답의 품질을 향상시킬 수 있는가?
• RQ2 구조화된 액션 플랜을 조건부로 삼는 것이 베이스라인 seq2seq 모델 대비 더 적절하고 정보가 풍부한 응답을 생성하는 데 기여하는가?
• RQ3 문장 수준의 정책이 턴 수준의 정책보다 응답 생성 및 응답 품질 향상에 더 효과적인가?
• RQ4 신경 응답 생성기가 액션 플랜에 명시된 속성을 얼마나 잘 실현하는가?
• RQ5 액션 플랜에 지식, 대화 액트, 주제 정보를 포함시키는 것이 응답의 제어 가능성과 관련성에 어떤 영향을 미치는가?

주요 결과

• 문장 수준의 대화 정책이 턴 수준의 생성 및 액션 플랜이 없는 베이스라인 모델보다 응답 적절성 측면에서 뚜렷한 성능 향상을 보였다.
• 액션 플랜의 포함으로 자동 평가 및 인간 평가 모두에서 더 정보가 풍부하고 맥락에 부합하는 응답이 생성되었다.
• 생성된 응답이 액션 플랜에 명시된 지식, 대화 액트, 주제와 더 밀접하게 일치함으로써 제어 가능성 향상이 확인되었다.
• 인간 평가 결과, 액션 플랜을 조건부로 삼은 응답은 베이스라인 모델의 응답보다 더 자연스럽고 유용하게 인식되었다.
• 액션 플랜 메커니즘이 문장 수준 및 턴 수준에서 모두 응답 생성을 효과적으로 안내하였으며, 특히 문장 수준의 계획이 더 뛰어난 성능을 보였다.
• 제안된 프레임워크는 액션 플랜의 속성을 효과적으로 실현하는 것을 학습하였으며, 이는 모델가 정책이 제공하는 제어 신호를 내재화하고 있음을 시사한다.