[논문 리뷰] Batch Policy Gradient Methods for Improving Neural Conversation Models

Kirthevasan Kandasamy, Yoram Bachrach외 3명|arXiv (Cornell University)|2017. 02. 10.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 노이즈가 많고 비용이 많이 드는 인간 레이블링 보상 데이터를 사용하여 신경 대화 모델을 향상시키기 위한 오프-폴리시 배치 강화 학습 방법인 배치 정책 기울기(BPG)를 제안한다. 레이블이 없는 대화 데이터를 사전 훈련에 활용하고, 레이블이 있는 데이터에 대해 정책 기울기 업데이트를 적용함으로써, 레스토랑 추천 데이터셋에서 응답 품질이 크게 향상되었으며, 아마존 메카니컬 터크 평가에서 통계적으로 유의미한 향상이 이루어졌다.

ABSTRACT

We study reinforcement learning of chatbots with recurrent neural network architectures when the rewards are noisy and expensive to obtain. For instance, a chatbot used in automated customer service support can be scored by quality assurance agents, but this process can be expensive, time consuming and noisy. Previous reinforcement learning work for natural language processing uses on-policy updates and/or is designed for on-line learning settings. We demonstrate empirically that such strategies are not appropriate for this setting and develop an off-policy batch policy gradient method (BPG). We demonstrate the efficacy of our method via a series of synthetic experiments and an Amazon Mechanical Turk experiment on a restaurant recommendations dataset.

연구 동기 및 목표

• 고객 서비스 환경에서 제한적이고 노이즈가 많은 인간의 레이블링 보상 데이터를 사용하여 신경 대화 모델을 훈련하는 데 도전하는 것.
• 환경과의 상호작용이 불가능한 오프라인 배치 학습에 적합한 강화 학습 방법을 개발하는 것.
• 최대우도 사전 훈련된 봇을 개선하기 위해 인간의 레이블링 점수로부터 약한 감독을 사용하여 응답을 정교화하는 것.
• 정책 반복 프레임워크 내에서 레이블이 없는 대화 데이터와 레이블이 있는 보상 데이터를 효율적으로 활용하는 것.
• 저자료, 고노이즈 환경에서 오프-폴리시 배치 정책 기울기 방법이 온-폴리시 및 온라인 RL 접근 방식보다 우수한 성능을 보이는지 입증하는 것.

제안 방법

• 최대우도 기반으로 레이블이 없는 대화 데이터를 사용해 순차적-순차적 RNN 정책을 사전 훈련한다.
• 다양한 행동 정책의 이력 트레이젝터리를 사용하여 이력 기반 오프-폴리시 업데이트를 수행하는 배치 정책 기울기(BPG) 알고리즘을 적용한다.
• 행동 정책와 목표 정책 간의 분포 이탈을 보정하기 위해 중요도 샘플링을 사용한다.
• 훈련을 안정화시키기 위해 시간 차이(GTD(λ)) 또는 일정 추정기 중 하나를 사용해 가치 함수 $\widehat{V}$ 를 추정한다.
• 배치 데이터 내의 모든 행동 및 보상 이력 정보를 활용해 정확한 정책 기울기를 계산함으로써 수렴 속도를 높인다.
• 사전 훈련과 정책 반복을 결합하여 응답을 정교화하고, 더 의미 있고 다양한 대화 터미널을 유도한다.

실험 결과

연구 질문

• RQ1 보상 데이터가 노이즈가 많고 비용이 많이 드는 상황에서 오프-폴리시 배치 정책 기울기 방법이 신경 대화 모델을 효과적으로 향상시킬 수 있는가?
• RQ2 레이블이 없는 데이터로 사전 훈련하고, 배치 레이블이 있는 데이터로 정책 개선을 수행할 경우, 이는 이 경우에서 온-폴리시 또는 온라인 RL보다 더 나은 성능을 내는가?
• RQ3 응답 품질과 통계적 유의성 측면에서 BPG는 최대우도 미세조정 및 기타 기준 방법과 비교해 어떻게 다른가?
• RQ4 중요도 샘플링과 가치 함수 추정은 대화 시스템을 위한 배치 RL에서 샘플 효율성과 안정성을 얼마나 향상시킬 수 있는가?
• RQ5 BPG는 개방형 대화 환경에서 최대우도 모델이 일반적이거나 도움이 되지 않는 응답을 생성하는 경향을 극복할 수 있는가?

주요 결과

• BPG 미세조정 후 Bot-2는 응답 품질에서 통계적으로 유의미한 향상을 보였으며, 대응 t-검정 p-값은 0.00007이고, 윌콕슨 부호 순위 검정 p-값은 0.00017이었다.
• Bot-1 역시 윌콕슨 부호 순위 검정에서 유의미한 향상을 보였지만(p = 0.07930), t-검정 p-값(0.10296)은 유의미하지 않아 아마존 메카니컬 터크에서의 레이블 노이즈로 인한 것으로 보인다.
• Bot-2의 평균 인간 평가 점수는 BPG 적용 후 0.7009에서 0.7317로 상승하여 약 4.4%의 상대적 향상이 이루어졌다.
• 이 방법은 '내가 그걸 찾아보게'나 '잠깐만요'와 같은 일반적인 응답을 줄였고, 더 맥락에 맞고 업무 중심적인 답변을 유도하였다.
• 레이블이 없는 데이터를 사전 훈련에, 레이블이 있는 데이터를 정책 업데이트에 사용함으로써, 제한된 감독 조건에서도 효과적인 정책 향상이 가능했다.
• 결과적으로 BPG는 최대우도 미세조정을 능가하며, 실제 고객 서비스 응용 프로그램에서 흔히 볼 수 있는 저자료, 고노이즈 환경에서 효과적이라는 게 입증되었다.