[논문 리뷰] A Deep Reinforcement Learning Chatbot (Short Version)

Iulian Vlad Serban, Chinnadhurai Sankar외 16명|arXiv (Cornell University)|2018. 01. 20.

Reinforcement Learning in Robotics참고 문헌 13인용 수 14

한 줄 요약

이 논문은 MILA에서 개발한 딥 강화학습 챗봇인 MILABOT을 제시한다. 이 시스템은 애자일 애슬러프 라이브러리 경쟁을 위해 설계되었으며, 신경망 기반 및 템플릿 기반 응답 모델의 앙상블에 더해 학습된 정책을 통해 최적의 응답을 선택한다. 이 시스템은 평균 사용자 평가 3.15점(모든 팀 평균 2.92점 대비)을 기록했고, 대화당 평균 14.5~16.0턴을 유지하여, 실제 사용자 상호작용 데이터와 커뮤니티 기반 피드백을 활용한 오프-폴리시 강화학습을 통해 참여도와 응답의 일관성을 향상시켜 다른 시스템을 크게 앞서는 성능을 보였다.

ABSTRACT

We present MILABOT: a deep reinforcement learning chatbot developed by the Montreal Institute for Learning Algorithms (MILA) for the Amazon Alexa Prize competition. MILABOT is capable of conversing with humans on popular small talk topics through both speech and text. The system consists of an ensemble of natural language generation and retrieval models, including neural network and template-based models. By applying reinforcement learning to crowdsourced data and real-world user interactions, the system has been trained to select an appropriate response from the models in its ensemble. The system has been evaluated through A/B testing with real-world users, where it performed significantly better than other systems. The results highlight the potential of coupling ensemble systems with deep reinforcement learning as a fruitful path for developing real-world, open-domain conversational agents.

연구 동기 및 목표

• 다양한 주제에 대해 지속적이고 인간처럼 들리는 대화를 수행할 수 있는 확장 가능하고 오픈 도메인 대화 에이전트를 개발한다.
• 모든 시스템 구성 요소를 머신러닝을 통해 훈련시켜 수작업 규칙에 대한 의존도를 줄인다.
• 실제 사용자 상호작용 데이터를 기반으로 한 강화학습을 통해 오픈 도메인 대화에서 응답 선택을 향상시킨다.
• 실제 A/B 테스트에서 기준 시스템 대비 더 높은 사용자 참여도와 만족도를 달성한다.
• 앙상블 모델과 오프-폴리시 딥 강화학습의 조합이 대화 시스템에 효과적인지 입증한다.

제안 방법

• 시스템은 딥 네트워크와 템플릿 기반 시스템을 포함한 검색 및 생성 모델의 앙상블을 사용하여 다양한 후보 응답을 생성한다.
• 대화 매니저는 학습된 정책을 사용하여 응답을 선택하며, '이름은 무엇입니까?'와 같은 우선 응답(예: '내 이름은 미라봇입니다.')은 명시적으로 처리된다.
• 실제 사용자 상호작용 데이터와 커뮤니티 기반 피드백을 활용하여 응답 선택을 최적화하기 위해 오프-폴리시 딥 강화학습을 적용한다.
• 가치 함수 및 정책 기반 강화학습 방법을 사용하여 정책을 훈련하며, 샘플 효율성과 일반화 능력을 향상시키기 위한 새로운 모델 기반 절차를 도입한다.
• ASR 신뢰도 점수와 대화 이력 정보를 입력으로 활용하여 응답 선택을 지원한다.
• 실제 애슬러프 사용자를 대상으로 한 A/B 테스트를 통해 사용자가 지정한 1~5점 척도 기반 평가를 통해 정책 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 NLP 모델의 앙상블에 강화학습을 조합할 경우, 규칙 기반 또는 단일 모델 기반 대화 시스템에 비해 오픈 도메인 대화에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 오프-폴리시 딥 강화학습은 온-폴리시 또는 히우리스틱 방법에 비해 대화 정책의 일반화 능력과 사용자 참여도를 향상시키는가?
• RQ3 사용자 평가 등 간접 피드백(예: 사용자 평점)을 기반으로 훈련된 정책이 실제 대화 성능 향상에 얼마나 기여하는가?
• RQ4 정책 네트워크에 인덕티브 바이어스를 통합할 경우, 다양한 주제에 걸쳐 일반화 능력이 어떻게 향상되는가?
• RQ5 최소한의 수작업 규칙을 사용해 훈련된 시스템이 기준 시스템에 비해 더 높은 사용자 만족도와 더 긴 대화를 이끌 수 있는가?

주요 결과

• 최고 성능을 보인 시스템은 1~5점 척도에서 평균 사용자 평가 3.15점을 기록했으며, 경쟁 평균 2.92점보다 유의미하게 높았다.
• 시스템은 대화당 평균 14.5~16.0턴을 유지했으며, 경쟁 평균 11턴보다 훨씬 높았다.
• 오프-폴리시 REINFORCE 정책은 다른 팀 대비 대화 길이를 70% 이상 증가시켜 사용자 참여도 향상을 입증했다.
• Q-러닝을 활용한 AMT 응답은 다른 정책에 비해 주제 일관성(사용자 입력과의 단어 겹침 수 11.28개)과 의미적 풍부성(1.98개의 명사구) 면에서 뛰어났다.
• 오프-폴리시 RL 접근법은 뛰어난 일반화 능력을 보였으며, 레이블이 적은 데이터로도 높은 성능을 유지할 수 있었다.
• 학습된 정책 선택을 통한 앙상블 접근법은 사용자 만족도와 대화 길이 측면에서 히우리스틱 기반 베이스라인(예: Evibot + Alicebot)을 모두 앞섰다.