[논문 리뷰] Chat More If You Like: Dynamic Cue Words Planning to Flow Longer Conversations

Lili Yao, Ruijian Xu외 3명|arXiv (Cornell University)|2018. 11. 19.

Speech and dialogue systems참고 문헌 28인용 수 9

한 줄 요약

이 논문은 유연한 대화 흐름을 유도하기 위해 동적으로 영향력 있는 쿠워드를 선택하는 강화학습 기반의 멀티턴 대화 시스템인 RLCw를 제안한다. 효과성과 관련성의 새로운 보상 함수를 통합하여 쿠워드 선택과 응답 생성을 동시에 최적화함으로써, 강력한 기준 모델들에 비해 유의미하게 더 긴 시뮬레이션 대화, 더 높은 다양성, 더 뛰어난 인간 평가 점수를 달성한다.

ABSTRACT

To build an open-domain multi-turn conversation system is one of the most interesting and challenging tasks in Artificial Intelligence. Many research efforts have been dedicated to building such dialogue systems, yet few shed light on modeling the conversation flow in an ongoing dialogue. Besides, it is common for people to talk about highly relevant aspects during a conversation. And the topics are coherent and drift naturally, which demonstrates the necessity of dialogue flow modeling. To this end, we present the multi-turn cue-words driven conversation system with reinforcement learning method (RLCw), which strives to select an adaptive cue word with the greatest future credit, and therefore improve the quality of generated responses. We introduce a new reward to measure the quality of cue words in terms of effectiveness and relevance. To further optimize the model for long-term conversations, a reinforcement approach is adopted in this paper. Experiments on real-life dataset demonstrate that our model consistently outperforms a set of competitive baselines in terms of simulated turns, diversity and human evaluation.

연구 동기 및 목표

• 개방형 멀티턴 대화 시스템에서 대화 흐름 모델링의 부족을 해결하기 위해.
• 대화 방향을 이끄는 적응형 쿠워드를 동적으로 선택하여 장기적 일관성과 참여도를 향상시키기 위해.
• 쿠워드 예측과 응답 생성을 통합하는 학습 가능한 종단간 프레임워크를 개발하기 위해.
• 대화 흐름 향상을 위해 효과성과 관련성 기반의 쿠워드 품질을 측정하는 새로운 보상 함수를 설계하기 위해.
• 강화학습을 활용해 누적 미래 보상을 최대화함으로써 장기적 대화 품질을 최적화하기 위해.

제안 방법

• RLCw 모델은 대화 이력과 현재 맥락을 기반으로 각 턴에서 쿠워드 선택을 위한 강화학습 프레임워크를 사용한다.
• 이중 보상 메커니즘이 효과성(미래 대화 길이)과 관련성(맥락과의 의미적 일치도)을 기반으로 쿠워드를 평가한다.
• 쿠워드는 응답 생성을 조절하는 잠재적 가이드로 사용되어 주제의 연속성과 일관성을 확보한다.
• 정책 기반 강화학습 방법을 사용해 누적 미래 보상을 최대화하도록 종단간으로 모델을 훈련한다.
• 쿠워드 삽입 기반의 시퀀스 투 시퀀스 아키텍처를 활용해 맥락 기반 응답을 생성한다.
• 제거 실험을 통해 각 보상 구성 요소와 전체 프레임워크의 기여도를 검증한다.

실험 결과

연구 질문

• RQ1 동적 쿠워드 선택은 멀티턴 개방형 대화의 길이와 일관성 향상에 기여하는가?
• RQ2 강화학습 보상에서 효과성과 관련성을 통합함으로써 대화 품질은 어떻게 향상되는가?
• RQ3 쿠워드 유도 응답 생성은 다양성과 인간 선호도 측면에서 기준 모델들에 비해 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 쿠워드는 지속적인 대화에서 주제 이탈과 의미적 연속성에 어떤 영향을 미치는가?
• RQ5 고정되거나 사전 정의된 키워드에 의존하지 않고도 모델은 높은 수준의 대화 흐름을 유지할 수 있는가?

주요 결과

• RLCw는 모든 기준 모델들 중 가장 긴 시뮬레이션 대화 길이를 기록하여 뛰어난 참여도와 흐름을 입증한다.
• 모델은 세션 내외에서 가장 높은 고유한 트리그램 비율을 생성하여 더 높은 응답 다양성을 나타낸다.
• 인간 평가 결과, RLCw는 유창성, 일관성, 관련성, 정보성 및 종합 선호도에서 기준 모델들을 뛰어나게 성과를 내었다.
• 제거 실험을 통해 효과성과 관련성 보상 모두 필수적임을 확인하였으며, 특히 관련성 보상이 대화 길이 연장에 핵심적인 역할을 한다.
• 쿠워드와 생성된 응답 간 상관계수가 높아(0.81), 강력한 의미적 일치도와 응답 콘텐츠에 대한 영향력을 확인한다.
• 41%의 쿠워드가 최종 응답에 포함되어 있어, 대화 방향 및 콘텐츠 생성에 있어 그들의 상당한 영향력을 입증한다.