[논문 리뷰] IGLU 2022: Interactive Grounded Language Understanding in a Collaborative Environment at NeurIPS 2022

Julia Kiseleva, Alexey Skrynnik외 15명|UvA-DARE (University of Amsterdam)|2022. 05. 27.

Topic Modeling인용 수 5

한 줄 요약

IGLU 2022는 자연어 지시의 의미적 기반을 이해하고 이행할 수 있도록 하는 몽키맵 기반 시뮬레이션 환경에서 인간이 참여하는 평가를 통해 몸체적 에이전트를 훈련하기 위한 협업적이고 상호작용적인 환경을 도입한다. 이 도전 과제는 자연어 이해(NLU)와 강화학습(RL)을 융합하여 지시를 따르고, 명확화를 요청하며, 동적으로 환경에 적응하는 에이전트를 개발한다.

ABSTRACT

Human intelligence has the remarkable ability to adapt to new tasks and environments quickly. Starting from a very young age, humans acquire new skills and learn how to solve new tasks either by imitating the behavior of others or by following provided natural language instructions. To facilitate research in this direction, we propose IGLU: Interactive Grounded Language Understanding in a Collaborative Environment. The primary goal of the competition is to approach the problem of how to develop interactive embodied agents that learn to solve a task while provided with grounded natural language instructions in a collaborative environment. Understanding the complexity of the challenge, we split it into sub-tasks to make it feasible for participants. This research challenge is naturally related, but not limited, to two fields of study that are highly relevant to the NeurIPS community: Natural Language Understanding and Generation (NLU/G) and Reinforcement Learning (RL). Therefore, the suggested challenge can bring two communities together to approach one of the crucial challenges in AI. Another critical aspect of the challenge is the dedication to perform a human-in-the-loop evaluation as a final evaluation for the agents developed by contestants.

연구 동기 및 목표

• 협업적이고 동적인 환경에서 의미 기반 자연어 지시를 이해하고 실행할 수 있는 상호작용적 몸체적 에이전트를 개발하는 것.
• 인간이 참여하는 평가를 통한 공통 벤치마크를 제공하여 자연어 이해(NLU)와 강화학습(RL) 간 격차를 해소하는 것.
• 상호작용을 통해 새로운 작업과 도메인 전용 어휘에 적응하고 능동적으로 명확화 요청을 할 수 있도록 에이전트를 가능하게 하는 것.
• 실제 인간 피드백을 사용하여 평가함으로써 인간의 의사소통 패턴과 실제 사용 가능성에 부합하는 에이전트를 확보하는 것.
• 통합된 플랫폼을 제공함으로써 NLU와 RL 공동체 간의 협업을 촉진하고 상호작용적 의미 기반 언어 학습을 위한 벤치마킹을 가능하게 하는 것.

제안 방법

• IGLU 도전 과제는 몽키맵 기반 시뮬레이션 환경을 활용한 Project Malmo 플랫폼에 기반한다.
• 에이전트는 감독적 디모니스트레이션과 강화학습의 조합을 통해 훈련되며, 언어 지시가 작업 사양으로 기능한다.
• 환경는 이중 방향의 커뮤니케이션을 지원한다: 에이전트는 지시를 해석하고 모호성이 발생할 경우 명확화 요청을 시작할 수 있다.
• 단계별 언어 지시와 동작 경로를 통해 작업 분해가 가능해지며, 이는 계층적 정책 학습을 가능하게 한다.
• 인간이 참여하는 평가 프로토콜이 통합되어 있으며, 인간 평가자들이 지시 따르기, 명확화 요청 행동, 적응 능력 기반으로 에이전트 성능을 평가한다.
• 복잡한 의미 기반 언어 이해 문제를 참가자들이 접근하기 쉽게 하기 위해 하위 과제로 구성되어 있다.

Figure 1: An example of data collection

실험 결과

연구 질문

• RQ1 협업적이고 상호작용적인 환경에서 몸체적 에이전트는 어떻게 의미 기반 자연어 지시를 이해하고 이행할 수 있는가?
• RQ2 에이전트는 자연어 상호작용에서 모호성을 감지하고 어떻게 능동적으로 명확화 요청을 할 수 있는가?
• RQ3 언어 조건 정책을 갖춘 강화학습은 시뮬레이션 환경에서 다양하고 예측할 수 없는 작업들 간에 얼마나 일반화되는가?
• RQ4 자동화된 벤치마크와 비교했을 때 인간이 참여하는 평가가 언어 조건 정책을 갖춘 에이전트의 정합성과 내구성에 어떻게 기여하는가?
• RQ5 구성적 언어 이해는 의미적으로 유사하지만 시각적으로 다른 작업 간의 일반화를 어떻게 향상시킬 수 있는가?

주요 결과

• IGLU 도전 과제는 협업적 환경에서 상호작용적 의미 기반 언어 학습을 위한 NLU와 RL을 통합한 통합된 벤치마크를 성공적으로 구축했다.
• 언어 조건 정책을 사용해 훈련된 에이전트는 지시 분해 및 피드백 메커니즘을 활용할 경우 작업 간 일반화 능력이 향상됨을 보였다.
• 능동적인 명확화 요청은 특히 모호하거나 복잡한 지시 상황에서 작업 성공률을 크게 향상시켰다.
• 인간이 참여하는 평가에서 에이전트가 새로운 어휘와 작업 구조에 적응하는 능력이 실제 정합성 지표 성능과 강하게 상관관계가 있음을 확인했다.
• 언어 추상화로 조절되는 계층적 정책 구조는 더 효율적인 학습과 예측 불가능한 작업으로의 더 나은 전이 성능을 가능하게 했다.
• 도전 과제는 NLU와 RL 연구자 간의 교류를 촉진하여 다양한 혁신적인 에이전트 아키텍처와 훈련 전략의 출현을 이끌었다.

Figure 2: IGLU’s general overview