[논문 리뷰] Towards Explainable and Controllable Open Domain Dialogue Generation with Dialogue Acts

Can Xu, Wei Wu외 1명|arXiv (Cornell University)|2018. 07. 19.

Topic Modeling참고 문헌 28인용 수 30

한 줄 요약

이 논문은 개방형 대화 체계에서 설명 가능성, 제어 가능성, 사용자 참여도를 향상시키기 위해 대화 행위를 정책으로 사용하는 대화 생성 모델을 제안한다. 인간-인간 대화 데이터로부터 대화 행위 선택과 응답 생성을 공동으로 학습하고 강화 학습을 통해 최적화함으로써, 기계-기계 및 인간-기계 평가 모두에서 응답 품질과 대화 길이 측면에서 최신 기술을 뛰어넘는 성능을 보였다.

ABSTRACT

We study open domain dialogue generation with dialogue acts designed to explain how people engage in social chat. To imitate human behavior, we propose managing the flow of human-machine interactions with the dialogue acts as policies. The policies and response generation are jointly learned from human-human conversations, and the former is further optimized with a reinforcement learning approach. With the dialogue acts, we achieve significant improvement over state-of-the-art methods on response quality for given contexts and dialogue length in both machine-machine simulation and human-machine conversation.

연구 동기 및 목표

• 사람들이 사회적 대화를 어떻게 나누는지 이해하고, 이를 개방형 대화 시스템에 모델링하는 것.
• 특히 맥락 유지 및 전환, 질문 제안 패턴을 포함한 인간의 대화 행동을 표현할 수 있는 대화 행위를 설계하는 것.
• 감독 학습과 강화 학습을 활용한 대화 행위 선택 및 응답 생성의 공동 학습 프레임워크를 개발하는 것.
• 대화 행위 정책을 통해 제어 가능하고 설명 가능하며 다양한 응답을 가능하게 하여 사용자 참여도를 향상시키는 것.
• 자동화된 지표와 인간 평가를 통한 모델의 우수성을 실증적으로 검증하는 것.

제안 방법

• 모델는 인간의 대화 행동을 표현하기 위해 여섯 가지 대화 행위—맥락 유지(CM.S, CM.Q, CM.A), 맥락 전환(CS.S, CS.Q, CS.A), 기타(O)를 사용한다.
• 대화 행위 선택과 응답 생성은 대화 행위로 주석이 달린 대규모 인간-인간 대화 데이터를 기반으로 감독 학습을 통해 공동으로 학습된다.
• 대화 행위 정책은 장기적인 대화 길이와 참여도를 극대화하기 위해 강화 학습을 통해 추가로 최적화된다.
• 모델는 인코더-디코더 아키텍처에 어텐션 메커니즘을 적용하며, 대화 행위는 맥락에 조건화되어 응답 생성을 이끌어낸다.
• 강화 학습은 대화 길이와 관련성에 기반한 보상 신호를 사용하여, 지속적인 상호작용을 유도하기 위해 맥락 전환과 질문 제안을 장려한다.
• 엔지니어가 질문을 제안하거나 주제를 전환하는 등 특정 대화 행위에서의 응답을 선택할 수 있도록 제어 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 사회적 대화에서 인간의 행동을 표현할 수 있도록 대화 행위를 어떻게 설계할 수 있는가? 특히 맥락 유지 및 전환에 중점을 두고.
• RQ2 대화 행위가 개방형 대화 생성에서 응답 품질과 참여도를 향상시키는 효과적인 정책으로 기능할 수 있는가?
• RQ3 대화 행위 선택과 응답 생성의 공동 학습이 엔드 투 엔드 모델보다 더 나은 성능을 내는가?
• RQ4 강화 학습을 통해 대화 행위 정책을 추가로 최적화함으로써 장기적인 대화 길이와 사용자 참여도를 향상시킬 수 있는가?
• RQ5 대화 행위가 개방형 챗봇에서 제어 가능성과 설명 가능성에 얼마나 기여하는가?

주요 결과

• 제안된 모델인 RL-DAGM은 기계-기계 시뮬레이션과 인간-기계 대화 모두에서 베이스라인을 뛰어넘었으며, 통계적으로 유의미한 향상(α < 0.01)을 보였다.
• 기계-기계 시뮬레이션에서 RL-DAGM는 평균 8.18회 전환의 대화 길이를 기록했으며, 맥락 전환 없이 생성된 대화의 평균 4.78회 전환과 비교해 맥락 전환의 중요성을 입증했다.
• 인간-기계 대화에서 RL-DAGM는 최소 한 번의 맥락 전환 어조어가 포함된 대화 비율이 48.1%였으며, SL-DAGM의 38.1%와 비교해 동적 주제 전환을 통한 더 높은 참여도를 보였다.
• 기계-기계 시뮬레이션에서 RL-DAGM는 질문 제안 비율이 32.4%였고, 인간-기계 대화에서는 22.3%로 증가하여 대화를 유지하기 위해 질문을 효과적으로 활용함을 보였다.
• RL-DAGM가 생성한 대화는 관련성과 다양성 측면에서 높은 평가를 받았으며, 인간 평가자들이 최신 기술 모델의 응답보다 더 매력적으로 느꼈다.
• 강화 학습 모듈은 모델이 맥락 전환과 질문 제안을 능동적으로 수행할 수 있는 능력을 향상시켰으며, 약간의 즉각적 전환 수준의 관련성 저하를 감수함으로써 더 길고 자연스러운 대화를 가능하게 했다.