[논문 리뷰] Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning

Deborah A. Cohen, Moonkyung Ryu외 9명|arXiv (Cornell University)|2022. 07. 25.

Speech and dialogue systems인용 수 7

한 줄 요약

이 논문은 대화 기록을 임bedding하기 위해 최신 기술(SOTA) 언어 모델을 사용하고, 확률적이고 변화하는 행동 공간을 통해 응답을 동적으로 계획하는 강화학습(RL)-기반 대화 시스템을 제안한다. 군중 기반 데이터로 훈련하고 Google Assistant에 구현된 이 시스템은 SOTA 지도 학습 기반 트랜스포머 기반 베이스라인을 크게 능가하여 대화 길이를 20% 증가시키고, 명시적 긍정 피드백은 32% 증가시키며, 부정 피드백은 18% 감소시켰다.

ABSTRACT

Despite recent advances in natural language understanding and generation, and decades of research on the development of conversational bots, building automated agents that can carry on rich open-ended conversations with humans "in the wild" remains a formidable challenge. In this work we develop a real-time, open-ended dialogue system that uses reinforcement learning (RL) to power a bot's conversational skill at scale. Our work pairs the succinct embedding of the conversation state generated using SOTA (supervised) language models with RL techniques that are particularly suited to a dynamic action space that changes as the conversation progresses. Trained using crowd-sourced data, our novel system is able to substantially exceeds the (strong) baseline supervised model with respect to several metrics of interest in a live experiment with real users of the Google Assistant.

연구 동기 및 목표

• 실세계 환경에서 풍부하고 개방형 대화를 가능하게 하는 실시간, 확장 가능한 대화 시스템을 개발하는 것.
• 개방형 대화에서 막대한 상태 공간, 무한정 동적 행동 공간, 복잡한 보상 설계 문제를 해결하는 것.
• 진화하는 행동 집합에 맞춤형으로 설계된 고급 RL 알고리즘과 SOTA 지도 학습 기반 언어 모델을 융합하여 대화에서의 동적 계획을 가능하게 하는 것.
• 실제 운영 환경(Google Assistant)에 RL 기반 에이전트를 평가하고 배포하며, SOTA 지도 학습 모델과 철저히 비교하는 것.
• 현대 RL 알고리즘의 실세계 개방형 대화 시나리오에서의 상대적 성능에 대한 통찰을 도출하는 것.

제안 방법

• 대화 기록의 압축되고 정보적인 임베딩을 RL 상태 표현으로 삼기 위해 사전 훈련된 지도 학습 기반 언어 모델(RNN 및 트랜스포머)을 사용한다.
• 각 턴에서 행동 공간을 소규모로 동적으로 생성된 후보 응답 집합으로 제한하여 효율적이고 확장 가능한 RL 훈련을 가능하게 한다.
• 확률적이고 시간에 따라 변하는 행동 집합을 고려한 새로운 RL 프레임워크를 적용하여 에이전트가 실시간으로 응답을 계획하고 적응할 수 있도록 한다.
• 표본 효율성과 정책 안정성을 향상시키기 위해 코시브 Q-학습(CQL), 오프-폴리시 평가, 연속 행동 최적화와 같은 최신 RL 알고리즘을 적용한다.
• 군중 기반 데이터에서의 인간 피드백 신호를 사용하여 정책을 훈련한다. 이는 명시적 긍정/부정 피드백 및 협력적 응답 메트릭을 포함한다.
• 최종 모델을 Google Assistant에 배포하여 특히 동물 도메인 경험에 통합하고, 실사용자 상호작용에서 평가한다.

실험 결과

연구 질문

• RQ1 스케일링된 환경에 구현된 개방형 다단계 대화 시스템에서 강화학습이 실시간, 동적 계획을 효과적으로 가능하게 할 수 있는가?
• RQ2 SOTA 언어 모델에서 학습된 압축된 상태 표현이 RL 기반 대화 에이전트의 성능에 어떤 영향을 미치는가?
• RQ3 현대의 오프-폴리시 및 코시브 RL 알고리즘은 개방형 대화에서 표본 효율성과 정책 안정성 향상에 얼마나 기여하는가?
• RQ4 각 턴마다 후보 응답이 생성되는 동적이고 진화하는 행동 공간을 허용할 경우, 고정된 행동 집합에 비해 사용자 참여도와 대화 품질이 향상되는가?
• RQ5 비직관적인 행동, 예를 들어 협력적 응답이 증가하는 것은 개방형 대화에서 장기적으로 사용자 만족도를 향상시킬 수 있는가?

주요 결과

• RL 기반 에이전트는 SOTA 지도 학습 기반 트랜스포머 기반 베이스라인을 크게 능가하여 실사용자 실험에서 평균 대화 길이를 20% 증가시켰다.
• 명시적 긍정 피드백은 32% 증가하였고, 부정 피드백은 18% 감소하여 사용자 만족도 향상이 명확하게 확인되었다.
• SAQL-RNN 모델은 지도 학습 모델 대비 대화당 26% 더 많은 고유한 콘텐츠 제공자를 생성하여 콘텐츠 다양성이 높아짐을 보여주었다.
• RL 에이전트는 사실 기반 콘텐츠를 31% 더 많이 선택하여, 비록 덜 자주 발생하지만 더 깊이 있고 풍부한 대화를 선호함을 보였다.
• 협력률이 9.5% 감소했음에도 불구하고, 장기적 참여도와 계획 능력 향상으로 인해 전체 사용자 경험은 향상되었다.
• 사실 기반 대화에서 집중 전환 턴 수가 60% 증가하여 더 깊이 있는 콘텐츠 경로 관리 능력이 뛰어남을 나타냈다.