[논문 리뷰] Lessons from Contextual Bandit Learning in a Customer Support Bot

Nikos Karampatziakis, Sebastian Kochman외 4명|arXiv (Cornell University)|2019. 05. 06.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 5

한 줄 요약

이 논문은 마이크로소프트의 가상 고객 지원 보조원에서 맥락 기반 밴드잇을 구현한 실무적 경험을 제시하며, 강화학습이 의도의 모호성 해소와 콘텐츠 추천을 향상시키는 데 어떻게 기여했는지를 보여준다. 실시간 보상 신호인 사용자 해결 피드백과 클릭 행동을 활용하고, 보상 형성과 오프라인 평가를 적용함으로써, 전체 강화학습 신용 할당이 필요하지 않은 상태에서도 사용자 만족도 향상과 업그레이드 비율 감소를 달성하였다.

ABSTRACT

In this work, we describe practical lessons we have learned from successfully using contextual bandits (CBs) to improve key business metrics of the Microsoft Virtual Agent for customer support. While our current use cases focus on single step einforcement learning (RL) and mostly in the domain of natural language processing and information retrieval we believe many of our findings are generally applicable. Through this article, we highlight certain issues that RL practitioners may encounter in similar types of applications as well as offer practical solutions to these challenges.

연구 동기 및 목표

• 맥락 기반 밴드잇을 활용해 실제 대화형 AI 시스템에서 고객 지원 효율성과 사용자 만족도를 햖스키스.
• 희박한 보상, 로깅 무결성, 보상 형성과 같은 실제 강화학습 배포 과제를 해결하기 위해 노력.
• 대화 시스템에서 지도학습 평가 지표와 실제 비즈니스 성과 사이의 격차를 메우기 위해 노력.
• 생산 환경의 NLP 및 정보 검색 시스템에서 강화학습 실무자들에게 실용적이고 경험적으로 검증된 지침을 제공하기 위해 노력.

제안 방법

• 실제 고객 지원 봇에서 의도의 모호성 해소와 콘텐츠 추천 최적화를 위해 맥락 기반 밴드잇을 적용.
• 다양한 보상 신호 사용: 사용자 해결 피드백, 클릭 행동, 업그레이드 비율; 해결 여부를 주 보상으로 간주.
• 원인적 특징인 '해당 사항 없음' 클릭과 직접 트리거를 활용해 누락된 사용자 피드백을 보간함으로써 보상 형성 구현.
• 모델 학습 및 평가에 영향을 주지 않도록, 강화학습 결정을 위한 별도의 고립된 로깅 채널 유지.
• 정책 학습에 Vowpal Wabbit 사용 및 Azure Event Hubs 통합을 통해 신뢰성 있고 확장 가능한 로깅 구현.
• 배포 이전에 정책 개선을 검증하기 위해 오프라인 역사적 평가 및 A/B 테스트 수행.

실험 결과

연구 질문

• RQ1 희박하고 지연된 보상이 존재하는 실제 고객 지원 대화 시스템에 맥락 기반 밴드잇을 효과적으로 적용하는 방법은 무엇인가?
• RQ2 생산 환경의 NLP 시스템에 강화학습을 구현할 때 발생하는 주요 기술적 및 시스템 수준의 과제는 무엇인가?
• RQ3 원인적으로 타당한 방식으로 누락된 보상 신호를 신뢰성 있게 보간하는 방법은 무엇인가?
• RQ4 실제 강화학습 환경에서 학습 안정성과 평가 정확성을 유지하기 위해 필수적인 로깅 및 모니터링 관행은 무엇인가?
• RQ5 실시간 사용자 경험에 영향을 주지 않으면서 오프라인 평가와 A/B 테스트를 어떻게 활용해 강화학습 정책 개선을 검증할 수 있는가?

주요 결과

• '해당 사항 없음' 클릭과 직접 트리거와 같은 원인적 특징을 활용한 보상 형성으로 인해, 보존 데이터에서 모델 성능이 크게 향상되었다.
• 원시적인 희박한 피드백만으로 학습하는 것보다, 보간된 보상으로 학습하는 것이 더 우수한 일반화 성능을 보였다.
• 강화학습 결정을 위한 별도의 로깅 채널은 모델 학습 및 평가에 부작용을 초래하지 않도록 방지하는 데 핵심적이었다.
• 강화학습 최적화된 모호성 해소 및 추천 정책 덕분에 사용자 만족도 향상과 업그레이드 비율 감소를 측정 가능한 수준으로 달성하였다.
• 오프라인 역사적 평가와 A/B 테스트는 생산 환경에서 안전하고 신뢰성 있는 정책 반복을 위해 필수적이었다.
• 맥락 기반 밴드잇의 활용은 장기 대화에서 전체 신용 할당이 필요하지 않은 채로 비즈니스 지표를 직접 최적화할 수 있는 길을 제공하였다.