[논문 리뷰] A Deep Reinforcement Learning Chatbot

Iulian Vlad Serban, Chinnadhurai Sankar외 16명|arXiv (Cornell University)|2017. 09. 07.

Topic Modeling참고 문헌 63인용 수 199

한 줄 요약

MILABOT은 생성 모델과 검색 모델의 앙상블로 구축된 심층 강화 학습 챗봇으로, 군중 소싱 및 실제 사용자 데이터를 바탕으로 학습되었고, 실제 사용자와의 평가에서 강한 참여도와 성능을 보였다.

ABSTRACT

We present MILABOT: a deep reinforcement learning chatbot developed by the Montreal Institute for Learning Algorithms (MILA) for the Amazon Alexa Prize competition. MILABOT is capable of conversing with humans on popular small talk topics through both speech and text. The system consists of an ensemble of natural language generation and retrieval models, including template-based models, bag-of-words models, sequence-to-sequence neural network and latent variable neural network models. By applying reinforcement learning to crowdsourced data and real-world user interactions, the system has been trained to select an appropriate response from the models in its ensemble. The system has been evaluated through A/B testing with real-world users, where it performed significantly better than many competing systems. Due to its machine learning architecture, the system is likely to improve with additional data.

연구 동기 및 목표

• 인기 주제에 대해 엔드 투 엔드의 기계 학습 기반 아키텍처를 통해 오픈 도메인 대화를 수행할 수 있는 소셜 봇을 개발한다.
• 생성, 검색, 템플릿, QA를 포함한 다양한 응답 모델의 앙상블을 구성해 후보 응답을 생성한다.
• 사용자 상호작용에 기반해 앙상블에서 적절한 응답을 선택하도록 강화 학습을 적용한다.
• 실제 사용자와 함께 Amazon Alexa Prize 설정에서 시스템을 평가해 몰입도와 품질을 경쟁 시스템과 비교한다.
• 추가 데이터를 통해 확장성과 잠재적 개선을 입증한다.

제안 방법

• 템플릿 기반, 검색 기반, 신경 생성 모델을 포함한 22개의 응답 모델 앙상블을 구축한다.
• 후보를 생성하고, 우선순위 규칙을 적용한 뒤, 모델 선택 정책으로 선택하는 3단계 대화 관리자를 사용한다.
• 군중 소싱 라벨과 실제 사용자 상호작용을 이용해 마르코프 결정 과정(MDP)으로 프레이밍된 강화 학습으로 응답 선택 정책을 학습한다.
• VHRED, SkipThought, Dual Encoders, GRU 기반 생성기 등 다양한 검색 및 생성 기법을 도입한다.
• Alexa Prize 대회 기간 동안 실제 사용자에게서 RL 기반 정책 학습 접근 방식을 다수 평가한다.
• 약 200,000개의 라벨에 해당하는 대규모 군중 소싱과 광범위한 GPU 인프라를 활용해 시스템을 학습하고 운용한다.

실험 결과

연구 질문

• RQ1 다양한 응답 모델의 앙상블을 어떻게 조정해 일관되고 몰입도 높은 오픈 도메인 대화를 생성할 수 있는가?
• RQ2 현실 세계의 상호작용에서 장기적 사용자 만족도를 극대화하도록 응답 선택을 강화 학습으로 효과적으로 최적화할 수 있는가?
• RQ3 실제 사용자 데이터와 군중 소싱 라벨의 사용이 A/B 테스트에서 소셜 채팅봇의 성능에 미치는 영향은 무엇인가?
• RQ4 Alexa Prize 준결승에서 사용자 만족도 및 대화 길이 측면에서 MILABOT은 경쟁 시스템과 어떻게 비교되는가?

주요 결과

• 준결승에서 가장 성능이 좋았던 시스템은 1-5 척도에서 평균 사용자 점수 3.15를 달성했다.
• 최고 시스템은 대화당 평균 14.5-16.0 턴으로 경쟁 팀보다 높았다.
• 실제 사용자를 대상으로 한 A/B 테스트에서 많은 경쟁 시스템에 비해 상당한 개선이 나타났다.
• 대부분의 구성 요소가 학습 가능하여 추가 데이터로 시스템이 개선될 수 있음을 시사한다.
• 이 접근 방식은 최소한의 손으로 설계된 상태와 규칙으로도 강한 몰입도를 달성했다.