[논문 리뷰] Guided Dialog Policy Learning without Adversarial Learning in the Loop

Ziming Li, Sung‐Jin Lee외 6명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 29인용 수 13

한 줄 요약

이 논문은 강화학습 기반 대화 정책 학습의 안정성과 희소 보상 문제를 해결하기 위해, 적대적 보상 학습을 정책 최적화에서 분리한 이단계 방법을 제안한다. 이로 인해 온정책 및 오프정책 강화학습 모두를 활용할 수 있으며, 사전에 생성 모델을 통해 인간 대화와 기계 생성 대화를 구분하는 판별기(Discriminator)를 훈련시켜 보상 모델을 개선함으로써 작업 성공률 향상과 새로운 도메인으로의 전이 학습을 가능하게 한다.

ABSTRACT

Reinforcement Learning (RL) methods have emerged as a popular choice for training an efficient and effective dialogue policy. However, these methods suffer from sparse and unstable reward signals returned by a user simulator only when a dialogue finishes. Besides, the reward signal is manually designed by human experts, which requires domain knowledge. Recently, a number of adversarial learning methods have been proposed to learn the reward function together with the dialogue policy. However, to alternatively update the dialogue policy and the reward model on the fly, we are limited to policy-gradient-based algorithms, such as REINFORCE and PPO. Moreover, the alternating training of a dialogue agent and the reward model can easily get stuck in local optima or result in mode collapse. To overcome the listed issues, we propose to decompose the adversarial training into two steps. First, we train the discriminator with an auxiliary dialogue generator and then incorporate a derived reward model into a common RL method to guide the dialogue policy learning. This approach is applicable to both on-policy and off-policy RL methods. Based on our extensive experimentation, we can conclude the proposed method: (1) achieves a remarkable task success rate using both on-policy and off-policy RL methods; and (2) has the potential to transfer knowledge from existing domains to a new domain.

연구 동기 및 목표

• 강화학습 기반 대화 정책 학습에서 발생하는 불안정성과 희소 보상 문제를 해결한다.
• 적대적 훈련을 루프에 포함한 기존 방법의 한계를 극복한다. 이는 정책 그래디언트 방법에 국한되며 局부 최적점이나 모드 붕괴의 위험을 동반한다.
• 기존 대화 도메인에서 사전에 보상 함수를 훈련시켜 새로운 미사용 도메인에 적용할 수 있도록 전이 학습을 가능하게 한다.
• 보상 학습을 정책 최적화에서 분리하여 온정책 및 오프정책 강화학습 알고리즘 모두와 통합할 수 있도록 한다.
• 사람이 생성한 데이터로부터 고품질 대화 패턴을 포괄하는 확장성 있고 일반화 가능한 보상 함수를 개발한다.

제안 방법

• 실제 대화 상태를 생성하기 위해 조건부 VAE를 보조적인 대화 상태 생성기로 훈련시킨다.
• 실제 인간 생성 대화와 VAE에서 생성된 기계 생성 대화를 구분하기 위해 판별기를 사용하며, 적대적 손실을 최적화한다.
• VAE를 통해 판별기 손실을 역전파하여 오프라인 사전 훈련 단계에서 생성기와 판별기를 함께 훈련한다.
• 훈련된 판별기를 고정하여 사전 훈련된 보상 모델로 활용하고, 표준 강화학습 알고리즘(PPO, DQN 등)에 통합하여 정책 학습을 수행한다.
• 도메인, 대화 액션, 슬롯을 원핫 인코딩으로 재구성하여 의미적 유사성과 전이 가능성 향상을 도모한다.
• 사전 훈련된 보상 함수를 소스 도메인(Restaurant, Bus, Attraction, Train)에서 새로운 미사용 도메인(Hotel)으로 전이하여 zero-shot 또는 few-shot 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 적대적 보상 학습을 정책 학습에서 분리하여 오프정책 RL 알고리즘의 사용을 가능하게 할 수 있는가?
• RQ2 사람이 생성한 대화 데이터에서 사전에 보상 함수를 훈련시키면 수동으로 설계된 보상보다 대화 정책 성능이 향상되는가?
• RQ3 사전 훈련된 보상 모델이 새로운 미사용 대화 도메인으로 지식을 효과적으로 전이할 수 있는가?
• RQ4 샘플 효율성과 수렴 안정성 측면에서 제안된 방법은 엔드 투 엔드 적대적 훈련(GAIL, AIRL)과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 행동 표현 방식이 도메인 간 전이 학습과 정책 일반화에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 PPO와 DQN 모두에서 약 87%의 작업 성공률를 달성하여 인간 레이블 보상으로 사전 미세조정한 성능과 동일한 결과를 얻는다.
• DQN 기반 에이전트는 사전 훈련된 보상 함수에서 PPO 기반 에이전트보다 더 큰 이점을 얻었으며, 이는 가치 기반 방법에서 신호를 더 효과적으로 활용했음을 시사한다.
• 사전 훈련된 보상 함수를 사용한 DQN_new 에이전트는 새로운 미사용 도메인인 Hotel로 전이할 때 기준 DQN(Human)보다 성능이 뛰어나다.
• 네 개의 소스 도메인(Restaurant, Bus, Attraction, Train)에서 훈련된 GAN-VAE 보상 함수를 사용한 전이 학습 설정은 초기 학습과 비교해 Hotel 도메인에서 성능 향상을 크게 개선한다.
• 사전 훈련된 보상 함수는 효과적인 zero-shot 또는 few-shot 적응을 가능하게 하여, 다양한 슬롯 유형과 구조를 가진 도메인 간 강력한 일반화 능력을 입증한다.
• 적대적 훈련을 번갈아 수행하는 방식에서 발생하는 局부 최적점 및 모드 붕괴 문제를 피하기 위해 보상 학습 단계를 분리함으로써 성공적으로 해결하였다.