[논문 리뷰] I love your chain mail! Making knights smile in a fantasy game world: Open-domain goal-oriented dialogue agents

Shrimai Prabhumoye, Margaret Li외 5명|arXiv (Cornell University)|2020. 02. 07.

Speech and dialogue systems참고 문헌 34인용 수 8

한 줄 요약

이 논문은 에이전트가 자연스러운 대화를 통해 특정 행동을 수행하도록 설득해야 하는 풍부한 판타지 텍스트 기반 게임 환경에서, 새로운 오픈 도메인, 목표 지향 대화 작업을 제안한다. 주제 모델링 또는 토퍼키(토퍼키) 발화 선택을 사용한 강화 학습 기반 모델은 모방 학습 및 역모델링 기반 모델을 능가하며, 3단계 작업에서 56.1%의 성공률을 기록했고, 세계 지식에 기반한 인간 같은 대화를 생성한다.

ABSTRACT

Dialogue research tends to distinguish between chit-chat and goal-oriented tasks. While the former is arguably more naturalistic and has a wider use of language, the latter has clearer metrics and a straightforward learning signal. Humans effortlessly combine the two, for example engaging in chit-chat with the goal of exchanging information or eliciting a specific response. Here, we bridge the divide between these two domains in the setting of a rich multi-player text-based fantasy environment where agents and humans engage in both actions and dialogue. Specifically, we train a goal-oriented model with reinforcement learning against an imitation-learned ``chit-chat'' model with two approaches: the policy either learns to pick a topic or learns to pick an utterance given the top-K utterances from the chit-chat model. We show that both models outperform an inverse model baseline and can converse naturally with their dialogue partner in order to achieve goals.

연구 동기 및 목표

• 경청 대화와 목표 지향 대화 간 격차를 메우기 위해, 에이전트가 자연스러운 대화를 통해 행동을 달성해야 하는 현실적인 오픈 도메인 환경을 구축하기 위해.
• 특정 게임 내 행동(예: 체인 메일 착용, 미드 마시기 등)을 수행하도록 설득하는 데 효과적인 대화 전략을 학습하는 강화 학습 에이전트를 개발하기 위해.
• 복잡한, 지능적인 대화 환경에서 잠재 주제 또는 토퍼키 발화 선택을 사용한 강화 학습이 모방 학습 및 역모델링 기반 모델을 능가할 수 있는지 평가하기 위해.
• 다단계, 오픈 엔드 대화 작업에서 모델의 일반화 능력, 과적합 여부, 발화 반복 패턴을 분석하기 위해.

제안 방법

• 작업은 663개의 장소, 1755명의 캐릭터, 3462개의 물체를 포함하는 텍스트 기반 판타지 세계인 LIGHT 게임 환경에서 진행되며, 자유형 대화와 지능적인 행동을 지원한다.
• 에이전트는 강화 학습을 통해 대화 상대가 목표 행동(예: 안아주기, 마시기, 착용하기 등)을 수행하도록 이끄는 발화를 선택하도록 훈련되며, 목표 행동이 실행되었을 때 보상이 부여된다.
• 두 가지 강화 학습 접근법을 사용한다: (1) 발화 생성을 이끄는 주제를 선택하는 주제 기반 정책, (2) 사전 훈련된 경청 모델의 상위-k 출력에서 샘플링하는 토퍼키 발화 선택 방법.
• 강력한 역모델 기반 모델은 인간의 시연를 모방하여 대화 맥락에서 행동을 예측하도록 훈련된다.
• 모델는 1단계 및 3단계 작업에서 평가되며, 성능은 목표 행동 달성 성공률로 측정된다.
• 훈련에는 인간 플레이 데이터(10,777편의 에피소드)를 사용하며, 훈련, 검증, 테스트 세트로 나누어지며, 볼 수 있는 환경와 볼 수 없는 환경 모두 포함된다.

실험 결과

연구 질문

• RQ1 강화 학습 기반 에이전트는 풍부한 오픈 월드 환경에서 자연스럽고 맥락에 적절한 대화를 학습하여, 특정 게임 내 행동을 성공적으로 설득할 수 있는가?
• RQ2 강화 학습에서 잠재 주제 또는 토퍼키 발화 선택을 사용할 경우, 모방 학습 또는 역모델링 대비 목표 달성 능력이 향상되는가?
• RQ3 행동 유형(예: 안아주기, 때리기, 마시기 등)과 작업 난이도(1단계 대비 3단계)에 따라 모델 성능 및 일반화 능력은 어떻게 변화하는가?
• RQ4 모델는 얼마나 의미 있는 언어-세계 연결을 학습하는가? 또한, 발화 반복성과 일관성 측면에서 어떻게 비교되는가?

주요 결과

• 주제 기반 강화 학습 모델은 3단계 작업에서 56.1%의 성공률을 기록했으며, 이는 역모델 기반 모델 및 1단계 3배 기반 모델보다 유의미하게 높은 성능을 보였다. 특히 장기간 작업에서 성능이 열등한 것으로 나타났다.
• 토퍼키 발화 선택 방법 역시 역모델 기반 모델을 능가했으며, 모델 용량(K 또는 주제 수)이 증가할수록 성능이 향상되었고, K=200 또는 주제 수 200일 때 최고 성능을 기록했다.
• 주제 기반 강화 학습 모델은 의미 있는 발화를 학습했으며, 예를 들어 마시기 목표에 대해 '이것 한 입만 맛보세요' 또는 때리기 목표에 대해 '저런, 못된 존재야, 나를 만지지 마!'와 같은 발화를 생성하여, 지능적인 언어 이해 능력을 보였다.
• 행동 유형에 따라 성능이 달라졌으며, 안아주기(85% 성공), 때리기(75% 성공)와 같이 쉽게 구분되는 행동이 가장 높은 성공률을 기록했고, 더 모호한 행동(예: 얻기, 내기, 주기 등)은 낮은 성공률을 보였다.
• 1단계로는 달성할 수 없는 목표는 훨씬 더 어려웠으며, 모델들이 이러한 목표에서 훨씬 낮은 성공률을 기록함으로써 향후 연구의 핵심 과제임을 확인했다.
• 주제 기반 강화 학습 모델은 25.8%의 비율로 발화를 반복했으며(평균 15.59%), 이는 1단계 3배 기반 모델(37.3% 및 22.94%)보다 낮아 더 우수한 다양성과 낮은 중복성을 보였다.