[논문 리뷰] AgentGraph: Towards Universal Dialogue Management with Structured Deep Reinforcement Learning

Lu Chen, Zhi Chen외 4명|arXiv (Cornell University)|2019. 05. 27.

Speech and dialogue systems참고 문헌 51인용 수 7

한 줄 요약

이 논문은 보편적 대화 관리용 구조적 딥 강화학습 프레임워크인 AgentGraph를 제안한다. 대화 도메인을 슬롯에 의존하는 및 슬롯에 독립적인 에이전트로 구성된 그래프로 모델링하고 국소적 통신을 통해 에이전트들이 상호작용함으로써, 샘플 효율적인 훈련과 도메인 간 빠른 정책 전이를 가능하게 하여, PyDial 벤치마크에서 기존의 DRL 방법들을 능가하며 노이즈와 도메인 이동에 대한 강건성도 보여준다.

ABSTRACT

Dialogue policy plays an important role in task-oriented spoken dialogue systems. It determines how to respond to users. The recently proposed deep reinforcement learning (DRL) approaches have been used for policy optimization. However, these deep models are still challenging for two reasons: 1) Many DRL-based policies are not sample-efficient. 2) Most models don't have the capability of policy transfer between different domains. In this paper, we propose a universal framework, AgentGraph, to tackle these two problems. The proposed AgentGraph is the combination of GNN-based architecture and DRL-based algorithm. It can be regarded as one of the multi-agent reinforcement learning approaches. Each agent corresponds to a node in a graph, which is defined according to the dialogue domain ontology. When making a decision, each agent can communicate with its neighbors on the graph. Under AgentGraph framework, we further propose Dual GNN-based dialogue policy, which implicitly decomposes the decision in each turn into a high-level global decision and a low-level local decision. Experiments show that AgentGraph models significantly outperform traditional reinforcement learning approaches on most of the 18 tasks of the PyDial benchmark. Moreover, when transferred from the source task to a target task, these models not only have acceptable initial performance but also converge much faster on the target task.

연구 동기 및 목표

• 기존의 딥 강화학습(DRL) 기반 대화 정책에서의 열악한 샘플 효율성과 이식성 부족 문제를 해결하기 위해.
• 새로운 도메인에 대해 다시 훈련하지 않고도 대화 정책을 신속하게 적응시킬 수 있도록 하기 위해.
• 구조적이고 다중 에이전트 기반 강화학습을 통해 복잡한 실세계 대화 시스템에서의 학습 속도와 성능을 향상시키기 위해.
• 그래프 구조와 에이전트 간 상호작용이 대화 정책 최적화에서 수행하는 역할을 조사하기 위해.
• 다양한 대화 도메인 간 효과적인 제로샷 및 희소한 전이 학습을 가능하게 하기 위해.

제안 방법

• AgentGraph는 유도 그래프로 대화 도메인을 모델링하며, 노드는 대화 슬롯(S-노드)과 도메인 수준 상태(I-노드)를 나타내어 구조적이고 계층적인 정책 아키텍처를 형성한다.
• 각 노드는 같은 유형의 노드들 간 공유 파라미터를 가진 하위 에이전트로 작동하여 파라미터 효율성과 더 빠른 학습을 가능하게 한다.
• 에이전트들은 그래프의 이웃 노드들과 메시지 전달을 통해 상호작용하여 의사결정 과정에서 맥락적이고 관계 기반의 추론을 가능하게 한다.
• 이중 GNN 기반 정책은 계층적 GNN 레이어를 통해 각 턴의 결정을 고수준의 전역 행동과 저수준의 국소 행동으로 암묵적으로 분해한다.
• 프레임워크는 소스 도메인의 사전 훈련된 파라미터를 사용해 새로운 도메인 정책을 초기화함으로써 전이 학습을 지원하며, 특히 공유된 I-에이전트와 S-에이전트 가중치를 효과적으로 활용한다.
• DQN 기반 딥 강화학습과 GNN을 통합하여 경험 재생과 타겟 네트워크를 활용한 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 DRL 대비 GNN 기반 다중 에이전트 강화학습 프레임워크가 대화 정책 학습에서 샘플 효율성을 향상시키는가?
• RQ2 다른 온톨로지를 가진 타겟 도메인으로부터 소스 도메인에서의 정책을 전이할 때 AgentGraph의 효과는 어떠한가?
• RQ3 그래프 구조와 에이전트 간 상호작용이 노이즈가 있거나 환경이 변화하는 상황에서 정책 성능과 적응 가능성에 기여하는가?
• RQ4 고수준(전역)과 저수준(국소)으로의 결정 분해가 복잡한 대화 작업에서 정책 최적화에 얼마나 기여하는가?
• RQ5 AgentGraph는 새로운 대화 도메인에 대해 냉각 시작 시기(콜드 스타트)에서 빠른 수렴과 만족스러운 초도 성능을 달성할 수 있는가?

주요 결과

• AgentGraph 모델은 PyDial 벤치마크의 18개 작업 중 16개에서 기존의 DRL 기반 베이스라인을 뛰어넘으며, 특히 복잡한 작업에서 더 큰 성과 향상을 보였다.
• 소스 도메인(SFR)에서 사전 훈련된 정책를 타겟 도메인(CR 및 LAP)으로 전이했을 때, 두 도메인 모두 75% 이상의 초도 성공률를 기록하여 강력한 제로샷 전이 능력을 입증했다.
• 전이 후 타겟 작업에서 500회 이내의 대화 수준에서 수렴함으로써, 빠른 피니팅과 샘플 복잡도 감소를 확인했다.
• ASR 오류 수준이 다양할 경우에도 프레임워크는 0%, 15%, 30%의 의미 오류율 모두에서 안정된 성능을 유지하며 강건성을 입증했다.
• S-에이전트와 I-에이전트 간의 메시지 전달이 S-에이전트 간 통신만으로 이루어지는 것보다 성능 향상에 더 중요함을 보여주었으며, 이는 전역 상태 통합의 중요성을 강조한다.
• 이중 GNN 기반 정책는 표준 GNN 버전보다 더 뛰어난 성능을 보였으며, 계층적 결정 분해의 이점이 확인되었다.