[논문 리뷰] Rethinking Action Spaces for Reinforcement Learning in End-to-end Dialog Agents with Latent Variable Models

Tiancheng Zhao, Kaige Xie외 1명|arXiv (Cornell University)|2019. 02. 23.

Topic Modeling참고 문헌 40인용 수 22

한 줄 요약

이 논문은 대화 행동을 데이터로부터 비지도로 학습하는 잠재 변수로 간주하는 Latent Action Reinforcement Learning (LaRL) 프레임워크를 제안한다. 이는 수동으로 레이블링된 데이터에 의존하지 않고 대화 수준의 행동을 탐색할 수 있도록 엔드 투 엔드 대화 에이전트를 가능하게 한다. 방법은 정규화된 변동형 목표와 주의 메커니즘 강화된 이산 잠재 변수를 사용하여 MultiWoz에서 성공률이 18.2%p 향상되었고, 단어 수준의 강화 학습 대비 뛰어난 정책 성능을 달성하였으며, 열악한 언어 생성을 방지한다.

ABSTRACT

Defining action spaces for conversational agents and optimizing their decision-making process with reinforcement learning is an enduring challenge. Common practice has been to use handcrafted dialog acts, or the output vocabulary, e.g. in neural encoder decoders, as the action spaces. Both have their own limitations. This paper proposes a novel latent action framework that treats the action spaces of an end-to-end dialog agent as latent variables and develops unsupervised methods in order to induce its own action space from the data. Comprehensive experiments are conducted examining both continuous and discrete action types and two different optimization methods based on stochastic variational inference. Results show that the proposed latent actions achieve superior empirical performance improvement over previous word-level policy gradient methods on both DealOrNoDeal and MultiWoz dialogs. Our detailed analysis also provides insights about various latent variable approaches for policy learning and can serve as a foundation for developing better latent actions in future research.

연구 동기 및 목표

• 엔드 투 엔드 대화 시스템에서 단어 수준의 강화 학습가 지니는 장기 시퀀스에 걸친 책임 할당 문제와 비일관된 응답 생성 문제를 해결하기 위해.
• 수동으로 레이블링된 대화 액션에 의존하지 않고도 고수준의 대화 의미를 포괄하는 잠재 행동 공간을 비지도로 유도하는 방법을 개발하기 위해.
• 잠재 변수 모델이 대화 에이전트의 강화 학습에서 효과적인 행동 공간으로 기능할 수 있는지 조사하기 위해. 이는 정책 최적화와 응답 품질 향상에 기여한다.
• 이산형 잠재 변수와 연속형 잠재 변수의 선택이 대화 정책 성능에 미치는 영향을 분석하기 위해.
• 잠재 공간 모델링에서의 노출 편향을 줄이고 강화 학습 피니튜닝 중 탐색 성능을 향상시키기 위해.

제안 방법

• 대화 맥락으로부터 변동형 추론을 통해 추론되는 이산형 또는 연속형 잠재 변수로 대화 행동을 모델링하는 잠재 변수 프레임워크를 제안한다.
• 사전 훈련 중 사후 분포와 사전 분포를 일치시켜 노출 편향을 줄이기 위해 새로운 정규화된 근사 하한(ELBO) 목표인 $\mathcal{L}_{lite}$를 도입한다.
• 이산 잠재 변수를 디코더에 융합하기 위해 주의 메커니즘을 활용하여 장거리 응답 생성 성능을 향상시킨다.
• 스토캐스틱 정책 그래เดient 방법(예: REINFORCE)을 사용하여 작업별 보상에 대해 잠재 행동 공간을 최적화한다.
• 이중 단계 훈련 파이프라인을 적용한다: $\mathcal{L}_{lite}$로 사전 훈련한 후 정책 그래เดient 강화 학습으로 피니튜닝한다.
• 다양한 잠재 변수 유형, 즉 다항분포(Cat), 정규분포(Gauss), 그리고 주의 메커니즘 강화된 변형(AttnCat, AttnGauss)을 비교한다.

실험 결과

연구 질문

• RQ1 인간이 애너테이션한 대화 액션 없이도 원시 대화 데이터에서 의미 있는 고수준 행동 공간을 잠재 변수 모델이 학습할 수 있는가?
• RQ2 이산형과 연속형 잠재 변수 중 어떤 것을 선택하느냐가 엔드 투 엔드 대화 시스템에서 정책 학습과 응답 품질에 어떤 영향을 미치는가?
• RQ3 정규화된 변동형 목표($\mathcal{L}_{lite}$)가 표준 ELBO보다 노출 편향을 줄이고 강화 학습 성능을 향상시키는 데 뛰어난가?
• RQ4 주의 메커니즘이 이산 잠재 변수를 디코더에 효과적으로 통합하여 장거리이고 일관된 응답을 모델링할 수 있는가?
• RQ5 잠재 공간 정규화(β를 통해)가 강화 학습에서 탐색과 최종 정책 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 $\mathcal{L}_{lite}$ 목표는 표준 ELBO보다 뛰어나 노출 편향을 줄이고 사전 훈련 및 피니튜닝 성능을 모두 향상시킨다.
• 이산 다항 잠재 행동은 연속 정규 잠재 행동보다 정책 최적화에서 일관되게 뛰어나 더 높은 보상과 안정적인 훈련을 달성한다.
• β = 0.01 정규화를 적용한 잠재 행동 모델은 정규화되지 않은 모델보다 유의미하게 더 높은 최종 보상을 달성하여 엔트로피 정규화가 효과적인 탐색에 필수적임을 시사한다.
• LiteCat 및 LiteAttnCat 모델은 MultiWoz 데이터셋에서 이전 최고 성능 대비 18.2%p의 절대적인 성공률 향상을 달성하였다.
• LaRL 모델은 단어 수준의 강화 학습 기반 모델과 달리 열악한 언어 생성을 피하며, 높은 응답 유창성과 일관성을 유지한다.
• LCR 곡선 분석을 통해 특히 이산형 모델이 정책 학습에서 더 빠르고 안정적인 수렴을 달성함을 확인하였다.