[논문 리뷰] CHAI: A CHatbot AI for Task-Oriented Dialogue with Offline Reinforcement Learning

Siddharth Verma, Justin Fu외 2명|arXiv (Cornell University)|2022. 04. 18.

Speech and dialogue systems인용 수 4

한 줄 요약

CHAI는 온라인 상호작용 없이도 목표 지향적이고 유창하며 효과적인 대화를 생성하기 위해 미세튜닝된 언어 모델과 오프라인 강화학습을 결합한 임무 지향 대화 에이전트를 제안한다. 정적 인간 대화 데이터셋으로 훈련함으로써 CHAI는 이전 방법들보다 높은 협상 성공률과 더 나은 가격 설정 결과를 달성하였으며, 오프라인 RL이 언어 모델이 자연어 품질을 유지하면서도 임무 목표를 추구하는 데 기여할 수 있음을 보여준다.

ABSTRACT

Conventionally, generation of natural language for dialogue agents may be viewed as a statistical learning problem: determine the patterns in human-provided data and generate appropriate responses with similar statistical properties. However, dialogue can also be regarded as a goal directed process, where speakers attempt to accomplish a specific task. Reinforcement learning (RL) algorithms are designed specifically for solving such goal-directed problems, but the most direct way to apply RL -- through trial-and-error learning in human conversations, -- is costly. In this paper, we study how offline reinforcement learning can instead be used to train dialogue agents entirely using static datasets collected from human speakers. Our experiments show that recently developed offline RL methods can be combined with language models to yield realistic dialogue agents that better accomplish task goals.

연구 동기 및 목표

• 유창하고 자연스러운 응답을 생성하면서도 목표 지향적인 대화를 효과적으로 추구하는 대화 에이전트를 개발하는 것.
• 일반적으로 일반적이거나 목표를 忽시하는 응답을 생성하는 경향이 있는 지도 학습 기반 대화 시스템의 한계를 해결하는 것.
• 모의 인간 모델이나 온라인 롤아웃이 필요 없이 오프라인 데이터셋을 활용해 대화 시스템에서 강화학습을 가능하게 하는 것.
• 대화 분야의 오프라인 RL에서 흔히 발생하는 정책 남용 및 분포 이탈 문제를 완화하는 것.
• 사전 훈련된 언어 모델의 유창성과 오프라인 RL의 목표 지향 최적화를 융합하는 것.

제안 방법

• CHAI는 대화 데이터셋에 대해 미세튜닝된 사전 훈련된 언어 모델(GPT-2)을 사용하여 자연스러운 언어 응답을 생성한다.
• 온라인 상호작용을 피하기 위해 정적 인간-인간 대화 데이터를 활용해 오프라인 강화학습을 적용하여 대화 정책을 최적화한다.
• 특정 임무 보상(예: 성공적인 협상 또는 유리한 가격 설정)을 극대화할 수 있도록 가치 기반 RL 알고리즘을 사용하여 응답을 선택한다.
• 협상 수락 여부 및 수익과 같은 임무 결과를 반영하도록 설계된 보상 함수를 통해 정책이 목표 지향적 행동으로 유도된다.
• 응답이 현실적인 협상 역학에 기반하도록 가격 예측 헤드를 사용하여 전략적 일관성을 향상시킨다.
• 모든 훈련이 오프라인 데이터에서 수행되며, 시뮬레이션된 인간 모델이나 온라인 롤아웃이 필요하지 않다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델과 오프라인 강화학습을 효과적으로 융합하여, 자연스럽고 목표 지향적인 대화 에이전트를 훈련시킬 수 있는가?
• RQ2 오프라인 RL을 사용한 훈련이 언어 모델의 지도 미세튜닝 대비 협상 임무에서 성능을 향상시키는가?
• RQ3 CHAI는 검색 기반 또는 언어 모델 전용 베이스라인보다 더 높은 일관성과 전략적 타당성을 갖춘 응답을 생성할 수 있는가?
• RQ4 협상 성공률과 가격 정확도 측면에서 CHAI의 성능은 어떻게 비교되는가?
• RQ5 오프라인 RL이 대화 시스템에서 흔히 발생하는 정책 남용 및 분포 이탈 문제를 어느 정도 완화하는가?

주요 결과

• CHAI는 검색 기반 베이스라인과 언어 모델 베이스라인 모두와 비교해 통계적으로 유의미한 협상 성공률 향상을 보였다(p < 0.01).
• CHAI는 유창성 이외의 모든 지표에서 베이스라인을 앞서며, 언어 모델 베이스라인이 유지하는 유창성 수준을 확보함으로써 언어 모델 구성 요소가 유창성을 유지시킨다는 점을 확인했다.
• CHAI는 더 뛰어난 전략적 사고를 보였으며, 예를 들어 '그 정도로는 못 내리겠어요'와 같은 합리적인 반응 제안이나 유리한 조건에서만 제안 수락하는 행동을 보였다.
• 인간 평가에서 CHAI는 언어 모델 베이스라인보다 더 높은 일관성, 목표 지향성, 인간다움을 평가받았으며, 후자는 종종 비논리적이거나 주제에서 벗어난 응답을 내는 경향이 있었다.
• CHAI는 이전의 대화 관리 시스템보다 더 좋은 가격을 협상하고 더 높은 수익을 달성하여 임무 보상 최적화가 효과적으로 이루어졌음을 시사했다.
• CHAI는 검색 기반 모델에서 흔히 발생하는 비논리적 응답(예: 유틸리티나 시간에 관한 질문에 부적절한 답변)을 피했다.