[논문 리뷰] Mastering emergent language: learning to guide in simulated navigation

Mathijs Mul, Diane Bouchacourt외 1명|arXiv (Cornell University)|2019. 08. 14.

Multimodal Machine Learning Applications참고 문헌 42인용 수 6

한 줄 요약

이 논문은 가이드와 러닝어 아키텍처를 사용하여 다중 에이전트 내비게이션 작업에서 잠재적 언어를 학습하는 프레임워크를 제안한다. 가이드 에이전트는 베이비에이아 수준의 내비게이션 작업을 해결하기 위해 러닝어를 안내하기 위해 간결한 2단어 메시지를 생성한다. 가이드가 맥락적으로 관련된 지침을 생성하도록 훈련시킴으로써 이 방법은 GoToObjMaze에서 최대 98.4%의 높은 성공률를 기록하며, 구조화된 환경에서 효과적인 제로샷 일반화와 잠재적 의사소통을 입증한다.

ABSTRACT

To cooperate with humans effectively, virtual agents need to be able to understand and execute language instructions. A typical setup to achieve this is with a scripted teacher which guides a virtual agent using language instructions. However, such setup has clear limitations in scalability and, more importantly, it is not interactive. Here, we introduce an autonomous agent that uses discrete communication to interactively guide other agents to navigate and act on a simulated environment. The developed communication protocol is trainable, emergent and requires no additional supervision. The emergent language speeds up learning of new agents, it generalizes across incrementally more difficult tasks and, contrary to most other emergent languages, it is highly interpretable. We demonstrate how the emitted messages correlate with particular actions and observations, and how new agents become less dependent on this guidance as training progresses. By exploiting the correlations identified in our analysis, we manage to successfully address the agents in their own language.

연구 동기 및 목표

• 구조화된 내비게이션 환경에서 에이전트가 어떻게 잠재적 언어를 통해 효과적으로 의사소통을 학습할 수 있는지 조사하는 것.
• 가이드가 복잡한 내비게이션 작업을 해결하기 위해 짧은 메시지를 생성하는 두 에이전트 프레임워크를 개발하는 것.
• 미래의 환경에서의 제로샷 일반화에 대해 잠재적 의사소통의 효과성을 평가하는 것.
• 환경 상태에 따라 학습된 지침 메시지의 구조와 의미를 분석하는 것.

제안 방법

• 두 단계 훈련 과정을 사용한다: 첫째, 가이드가 환경 상태에 기반해 메시지를 생성하도록 학습한다; 둘째, 러닝어가 해당 메시지를 바탕으로 행동하도록 학습한다.
• 가이드는 관측 결과에서 2단어 메시지를 생성하기 위해 GRU 기반 정책을 사용하며, 어휘 크기가 3이다.
• 러닝어는 관측 결과와 수신한 지침 메시지를 기반으로 행동을 선택하기 위해 LSTM 기반 정책을 활용한다.
• 행동 시퀀스에 대한 교차 엔트로피 손실을 사용하여 지도 학습 방식으로 전체 시스템을 엔드 투 엔드로 훈련한다.
• 하이퍼파라미터로는 관측 인코딩에 256개의 CNN 유닛, 메모리에 2048개의 LSTM 유닛, 지침 처리에 256개의 GRU 유닛을 사용한다.
• 다양한 베이비에이아 레벨, 즉 GoToObj, GoToLocal, GoToObjMaze, PutNextLocal에서 실험하며 훈련 데이터 크기가 다양하게 설정된다.

실험 결과

연구 질문

• RQ1 가이드 에이전트가 복잡한 내비게이션 작업을 해결할 수 있도록 효과적이고 간결한 지침 메시지를 생성할 수 있는가?
• RQ2 잠재적 의사소통이 새로운 환경과 테스트 시간 분포로 일반화되는 정도는 어떠한가?
• RQ3 다양한 환경 상태에서 학습된 지침 메시지의 구조와 의미적 내용은 어떠한가?
• RQ4 다른 메시지 길이와 지침 전략에 따라 러닝어의 성능은 어떻게 변하는가?

주요 결과

• GoToObj에서 특정 메시지 'w0 w0'를 발행한 후 가이드가 거의 완벽한 행동 선택 확률(≈1.0)을 달성하여 메시지-행동 정렬이 강하게 이루어짐을 나타낸다.
• 러닝어는 GoToObjMaze 레벨에서 98.4%의 성공률를 기록하여, 새로운 미로 환경에 대한 효과적인 제로샷 일반화를 입증한다.
• PutNextLocal에서 가이드의 메시지가 환경 상태에 따라 조건화되어 높은 확률의 행동 선택을 이끌었으며, 막대도표는 명확한 메시지-행동 의존성을 보여준다.
• 충분한 데이터로 훈련된 경우, 여러 레벨에서 뛰어난 성능을 보였으며, GoToLocal과 GoToObjMaze에서 성공률가 90% 이상을 초과했다.
• 그림 A.1–A.3의 조건부 분포는 가이드가 의미적으로 의미 있고 맥락에 적절한 메시지를 학습함을 확인한다.
• 최소한의 감독만으로도 2단어 메시지만을 사용하여 효과적으로 잠재적 의사소통을 학습했으며, 다양한 내비게이션 과제에서 높은 작업 성공률를 달성했다.