[논문 리뷰] Strategic Dialogue Management via Deep Reinforcement Learning

Heriberto Cuayáhuitl, Simon Keizer외 1명|arXiv (Cornell University)|2015. 11. 25.

Topic Modeling참고 문헌 28인용 수 57

한 줄 요약

이 논문은 철도 건설 게임 세틀러스 오브 캐탄에서 전략적 대화 에이전트를 훈련시키기 위한 딥 강화학습(DRL) 프레임워크를 제안한다. 이 프레임워크는 상호작용을 통해 최적의 거래 전략을 학습하도록 설계되어 있으며, 랜덤, 규칙 기반, 지도 학습 기반의 베이스라인보다 뛰어난 성능을 보이며, 세 명의 AI 상대와의 대결에서 53%의 승률을 기록하여, 고차원 상태 및 행동 공간을 가진 비협력적 대화 전략을 학습하는 데서 DRL의 효과성을 입증한다.

ABSTRACT

Artificially intelligent agents equipped with strategic skills that can negotiate during their interactions with other natural or artificial agents are still underdeveloped. This paper describes a successful application of Deep Reinforcement Learning (DRL) for training intelligent agents with strategic conversational skills, in a situated dialogue setting. Previous studies have modelled the behaviour of strategic agents using supervised learning and traditional reinforcement learning techniques, the latter using tabular representations or learning with linear function approximation. In this study, we apply DRL with a high-dimensional state space to the strategic board game of Settlers of Catan---where players can offer resources in exchange for others and they can also reply to offers made by other players. Our experimental results report that the DRL-based learnt policies significantly outperformed several baselines including random, rule-based, and supervised-based behaviours. The DRL-based policy has a 53% win rate versus 3 automated players (`bots'), whereas a supervised player trained on a dialogue corpus in this setting achieved only 27%, versus the same 3 bots. This result supports the claim that DRL is a promising framework for training dialogue systems, and strategic agents with negotiation abilities.

연구 동기 및 목표

• 동적이고 상호작용적인 환경에서 전략적 비협력적 협상이 가능한 지능형 대화 에이전트를 개발하는 것.
• 딥 강화학습을 활용해 전략적 대화 시스템에서 발생하는 큰 차원의 상태 및 행동 공간 문제를 해결하는 것.
• 수동적으로 정의된 규칙이나 지도 학습 데이터에 의존하지 않고, 자율적으로 최적의 거래 전략(제안 선택, 수락, 반론 제시 등)을 학습할 수 있는 에이전트를 훈련하는 것.
• 실제 게임 환경에서 랜덤, 히우리스틱, 지도 학습 기반 정책과의 비교를 통해 DRL 기반 에이전트의 성능을 평가하는 것.
• DRL이 복잡한 사회적 상호작용 상황에서 경쟁적이고 적응적인 전략적 행동을 효과적으로 학습할 수 있음을 입증하는 것.

제안 방법

• 에이전트는 고차원 상태 표현을 행동 가치로 매핑하는 데 깊은 신경망을 사용하는 딥 Q네트워크(DQN)를 사용한다.
• 상태 표현은 자원 수량, 개발 카드, 정착지 위치, 승리 점수 등 총 160개의 비이진 특성으로 구성되며, 게임 상태를 기반으로 한다.
• 행동 공간은 73개의 고유한 대화 동작을 포함하며, 특정 자원 거래 제안, 제안 수락 또는 거부, 패스 등의 동작이 포함된다.
• 승리 확보를 장려하기 위해 조밀하고 희박하며 보정된 보상 함수를 사용하며, 보상 보정은 승리에 가까워짐과 자원 확보 정도에 기반한다.
• 학습 안정성을 위해 경험 재생과 타겟 네트워크를 사용하며, 탐색은 ε-그리드 에psilon 감소 전략을 통해 수행된다.
• 정책은 시간 차분 학습을 통해 엔드 투 엔드로 훈련되며, 전체 게임 에피소드 동안 누적 할인 보상 최적화를 목표로 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 세틀러스 오브 캐탄과 같은 복잡하고 고차원적인 게임 환경에서 전략적 대화 정책을 효과적으로 학습시킬 수 있는가?
• RQ2 DRL 기반 에이전트의 성능은 승률과 전략적 적응 능력 측면에서 랜덤, 규칙 기반, 지도 학습 기반 베이스라인과 비교해 어떻게 다른가?
• RQ3 명시적인 감독 없이 DRL 에이전트가 수락, 거부, 반론 제안 등의 효과적인 협상 전략을 얼마나 잘 발견할 수 있는가?
• RQ4 보정된 보상 함수의 사용이 전략적 대화 학습에서 샘플 효율성과 최종 정책 성능을 향상시키는가?
• RQ5 DRL 에이전트는 다양한 상대 유형에 일반화하여 비협력적 경쟁 환경에서 높은 승률을 달성할 수 있는가?

주요 결과

• DRL 기반 에이전트는 세 명의 자동화된 플레이어(봇)와의 대결에서 53%의 승률을 기록했으며, 지도 학습 기반 베이스라인의 27% 승률을 크게 뛰어넘었다.
• 모든 DRL 에이전트는 교차 평가에서 모든 베이스라인 에이전트를 상당히 앞서며, 강건성과 전략적 우수성을 입증했다.
• DRL 에이전트는 자원 선택적 제안, 반론 제안, 게임 상태 기반의 타이밍 결정과 같은 복잡한 전략적 행동을 학습했다.
• 160개의 특성으로 구성된 고차원 상태 표현과 73개의 행동 공간을 깊은 신경망이 효과적으로 처리하여 정책 일반화를 가능하게 했다.
• 저자들의 평가에 따르면, 이 결과는 세틀러스 오브 캐탄 환경에서 지금까지 보고된 바 중 가장 높은 승률을 기록한 것이다.
• 이 연구는 DRL이 복잡한 사회적 환경에서 비협력적 대화를 수행할 수 있는 지능형 상호작용 에이전트를 훈련시키는 데 있어 유망한 프레임워크임을 확인한다.