[논문 리뷰] RMM: A Recursive Mental Model for Dialog Navigation

Homero Roman Roman, Yonatan Bisk외 3명|arXiv (Cornell University)|2020. 05. 02.

Topic Modeling참고 문헌 45인용 수 14

한 줄 요약

이 논문은 뷰어지언-언어 작업에서 대화형 탐색을 위한 새로운 프레임워크인 재귀적 정서모델(RMM)을 소개한다. RMM은 탐색자 에이전트와 안내자 에이전트가 함께 질문, 답변, 탐색 동작을 생성하기 위해 재귀적 자기모델링을 통해 강화학습을 통해 목표 진전을 보상으로 삼는다. RMM은 대화의 일관성과 탐색 성공률을 높이며, 새로운 환경에서의 일반화 능력을 향상시킨다.

ABSTRACT

Language-guided robots must be able to both ask humans questions and understand answers. Much existing work focuses only on the latter. In this paper, we go beyond instruction following and introduce a two-agent task where one agent navigates and asks questions that a second, guiding agent answers. Inspired by theory of mind, we propose the Recursive Mental Model (RMM). The navigating agent models the guiding agent to simulate answers given candidate generated questions. The guiding agent in turn models the navigating agent to simulate navigation steps it would take to generate answers. We use the progress agents make towards the goal as a reinforcement learning reward signal to directly inform not only navigation actions, but also both question and answer generation. We demonstrate that RMM enables better generalization to novel environments. Interlocutor modelling may be a way forward for human-agent dialogue where robots need to both ask and answer questions.

연구 동기 및 목표

• 에이전트가 질문, 답변, 탐색 동작을 공동으로 생성해야 하는 뷰어지언-언어 탐색 작업에서 엔드 투 엔드 다중턴 대화의 과제를 해결한다.
• 기존 연구가 지침 따르기나 단일턴 상호작용에만 집중하는 점을 고려해, 협업적인 이중에이전트 프레임워크에서 질문 생성과 답변 생성을 모두 모델링한다.
• 대화 상대의 행동을 재귀적으로 모델링하여 대화 결과를 사전에 시뮬레이션함으로써, 새로운 환경에 대한 일반화 능력을 향상시킨다.
• 목표 진전을 보상 신호로 사용하는 강화학습을 통해, 대화 행위가 탐색 진전에 미치는 영향을 추론할 수 있도록 한다.
• 이론적 마음 모델링에 영감을 얻은 재귀적 정서모델링이 단순한 데이터 증강이나 오라클 기반 베이스라인보다 더 일관되고 효과적인 대화를 이끌어내는지 입증한다.

제안 방법

• 탐색자 에이전트가 자신의 행동을 재귀적으로 시뮬레이션하여, 안내자 에이전트가 질문에 어떻게 응답할지 모델링하는 재귀적 정서모델(RMM)을 제안한다.
• 안내자 에이전트 역시 탐색자의 행동을 시뮬레이션하여, 잠재적인 답변에 따라 어떤 탐색 단계를 밟을지를 예측한다.
• 공유된 정책 네트워크와 재귀적 자기어텐션을 사용하여 대화 상대의 반응과 행동을 모델링하고, 대화 및 탐색 경로에 대한 공동 계획을 가능하게 한다.
• 목표 진전(목표까지의 거리)을 주 보상 신호로 사용하여, 탐색, 질문 생성, 답변 생성을 동시에 최적화하는 엔드 투 엔드 강화학습을 수행한다.
• 질문 시점 결정을 생성 과정에서 분리하기 위해 고정 히우리스틱(매 N단계마다)을 사용하여 C2, C3, C4에 집중한다.
• 모델 간 차이가 생성 초깃값이나 하이퍼파라미터가 아닌 아키텍처와 훈련 방식 때문임을 보장하기 위해, 단일 샘플러와 초기화 방법을 공통으로 사용한다.

실험 결과

연구 질문

• RQ1 재귀적 자기모델링은 이중에이전트 뷰어지언-언어 탐색 작업에서 대화의 일관성과 탐색 성능을 향상시키는가?
• RQ2 RMM는 데이터 증강 및 오라클 기반 베이스라인과 비교할 때 대화 품질과 새로운 환경에 대한 일반화 능력에서 어떤가?
• RQ3 대화 상대의 정서 상태를 모델링하는 것은 에이전트가 효과적인 질문과 답변을 생성하는 데 얼마나 기여하는가?
• RQ4 목표 진전을 보상 신호로 사용하는 강화학습이 공동의 질문 생성, 답변 생성, 탐색을 효과적으로 최적화하는가?
• RQ5 대화 결과를 재귀적으로 모델링하는 방식은 제로샷 테스트 환경에서 비재귀적 또는 단일에이전트 접근 방식보다 더 나은 일반화를 이끌어내는가?

주요 결과

• RMM 에이전트는 길이 페널티나 디코딩 기법을 사용하지 않아도, 데이터 증강 베이스라인보다 훨씬 더 일관되고 구체적인 대화를 생성한다.
• 새로운 환경에서 RMM는 새로운 레이아웃과 목표 물체의 위치에 더 잘 일반화되며, 비목표 물체에 대한 산만함을 피하는 경향이 있다.
• 질문 생성 시점에서 RMM 모델은 데이터 증강 베이스라인(5.7)보다 높은 목표 진전(8.8)을 기록하여, 탐색을 더 효과적으로 이끄는 대화임을 시사한다.
• 경로 분석 결과, RMM 에이전트는 베이스라인 대비 더 이상의 필요 없는 되돌아가기나 잘못된 경로를 선택하는 일이 적다.
• CVDN 데이터셋의 인간 애너테이션 대화를 바탕으로, RMM가 생성한 대화는 데이터 증강 기반 대화보다 더 맥락에 부합하고 의미적으로 풍부하다.
• 재귀적 자기모델링 메커니즘은 에이전트가 실행 전에 대화 행위의 결과를 시뮬레이션할 수 있게 하여, 더 효과적이고 효율적인 탐색을 가능하게 한다.