[논문 리뷰] Dynamic Dialogue Policy for Continual Reinforcement Learning

Christian Geishauser, Carel van Niekerk외 5명|arXiv (Cornell University)|2022. 04. 12.

Speech and dialogue systems인용 수 9

한 줄 요약

이 논문은 대화 정책에 대한 지속적 강화학습(Reinforcement Learning, RL)을 위한 최초의 프레임워크를 소개하며, 새로운 지식을 추가함에 있어 파rameter 수를 늘리지 않는 다이내믹 대화 정책 트랜스포머(Dynamic Dialogue Policy Transformer, DDPT)라는 새로운 아키텍처를 제안한다. DDPT는 기술적 설명 임베딩과 트랜스포머 기반 설계를 활용하여, 새로운 도메인에 대해 강력한 제로샷 성능를 달성하면서도 치명적인 잊음(catastrophic forgetting)을 방지한다. 시뮬레이션 및 인간 평가에서 기존의 기준 모델들을 능가한다.

ABSTRACT

Continual learning is one of the key components of human learning and a necessary requirement of artificial intelligence. As dialogue can potentially span infinitely many topics and tasks, a task-oriented dialogue system must have the capability to continually learn, dynamically adapting to new challenges while preserving the knowledge it already acquired. Despite the importance, continual reinforcement learning of the dialogue policy has remained largely unaddressed. The lack of a framework with training protocols, baseline models and suitable metrics, has so far hindered research in this direction. In this work we fill precisely this gap, enabling research in dialogue policy optimisation to go from static to dynamic learning. We provide a continual learning algorithm, baseline architectures and metrics for assessing continual learning models. Moreover, we propose the dynamic dialogue policy transformer (DDPT), a novel dynamic architecture that can integrate new knowledge seamlessly, is capable of handling large state spaces and obtains significant zero-shot performance when being exposed to unseen domains, without any growth in network parameter size.

연구 동기 및 목표

• 지속적 강화학습이 대화 정책 최적화에 적용되지 못하는 프레임워크의 부족을 해결함으로써, 인공지능 시스템에서 수명 주기 동안 인간과 유사한 학습을 가능하게 하는 데 목적이 있다.
• 기존 지식을 잊지 않고 새로운 대화 도메인을 통합할 수 있는 확장 가능하고 파rameter 효율적인 아키텍처를 개발하는 데 목적이 있다.
• 지속적 RL을 위한 종합적인 벤치마크를 제공하며, 훈련 프로토콜, 기준 모델, 평가 지표를 포함한다.
• 모델의 성능을 시뮬레이션된 사용자 상호작용과 실제 인간 시험을 통해 검증하여 실용적 적용 가능성을 확보하는 데 목적이 있다.

제안 방법

• 대화 정책 학습을 위한 새로운 지속적 RL 프레임워크를 제안하며, 전방 이행(forward transfer)과 잊음(forgetting) 기반의 훈련 프로토콜, 기준 모델, 평가 지표를 포함한다.
• 기술적 설명 임베딩을 사용하여 새로운 도메인을 동적으로 표현하는 트랜스포머 기반 아키텍처인 다이내믹 대화 정책 트랜스포머(Dynamic Dialogue Policy Transformer, DDPT)를 도입한다.
• 도메인 게이트 메커니즘을 활용하여 입력을 적절한 서브넷으로 라우팅함으로써 선택적 주의력(selective attention)을 가능하게 하고 전방 이행을 향상시킨다.
• 사전 훈련된 언어 모델을 사용하여 도메인 설명을 인코딩함으로써 아키텍처 확장을 하지 않고도 새로운 도메인에 대해 제로샷 일반화를 가능하게 한다.
• Rolnick 등(2018)의 지속적 RL 알고리즘을 기준 모델로 적용하여 최첨단 지속적 학습 방법과 공정한 비교를 확보한다.
• 두 가지 사용자 시뮬레이터(TUS 및 규칙 기반 시뮬레이터)를 사용하며, 아마존 메카니컬 터크를 통해 인간 평가를 실시하여 견고성을 검증한다.

실험 결과

연구 질문

• RQ1 기존에 학습한 작업의 성능을 유지하거나 향상시키면서도 치명적인 잊음을 겪지 않고 새로운 도메인을 지속적으로 학습할 수 있는 대화 정책을 훈련시킬 수 있는가?
• RQ2 기술적 설명 임베딩만을 사용하여 새로운 도메인에 대해 제로샷 일반화가 얼마나 잘 이루어지는가?
• RQ3 다양한 도메인 순서에서 제안된 DDPT 아키텍처가 전방 이행, 잊음, 전체 성공률 측면에서 표준 기준 모델과 어떻게 비교되는가?
• RQ4 도메인 게이트 메커니즘이 동적 대화 학습에서 전방 이행과 견고성을 크게 향상시키는가?
• RQ5 제안된 프레임워크는 실제 상호작용 환경에서 인간 수준의 성능을 달성할 수 있는가?

주요 결과

• DDPT는 어려운 도메인 순서에서 잊음 점수 0.01과 전방 이행 0.73을 기록했으며, Bin 기준 모델(0.14 및 0.39)을 크게 능가했다.
• 혼합 도메인 순서에서 DDPT는 잊음 점수 0.03과 전방 이행 0.57을 기록하여 복잡하고 비단조선적 작업 순서에서도 견고한 성능을 보였다.
• 도메인 게이트가 없을 경우 DDPT의 전방 이행 점수는 0.43으로 떨어졌으며, 이는 게이트가 효과적인 지식 전이와 도메인 특화 적응을 위해 필수적임을 시사한다.
• 인간 평가 결과, DDPT와 골드 표준 간 성공률(0.77 대 0.81)과 인식된 품질에서 통계적으로 유의미한 차이가 없었으며(p > 0.05), Bin 기준 모델은 유의미하게 열 劣했다.
• DDPT는 어려운 도메인 순서에서 73%의 전방 이행을 기록하여, 새로운 도메인을 학습한 후 이전 도메인의 성능 향상과 강력한 후방 이행(backward transfer)을 보여주었다.
• 큰 증가하는 상태 공간을 처리하면서도 고정된 파rameter 수를 유지함으로써 확장성과 파rameter 효율성을 입증했다.