[논문 리뷰] Interactive Grounded Language Understanding in a Collaborative Environment: IGLU 2021

Julia Kiseleva, Ziming Li외 19명|UvA-DARE (University of Amsterdam)|2022. 05. 05.

Natural Language Processing Techniques인용 수 5

한 줄 요약

IGLU 2021은 실시간 대화와 작업 수행을 통해 기반된 자연어 지시를 학습하는 상호작용형 에이전트를 훈련하기 위한 협업 환경을 제공한다. 대회 결과, 하이브리드 및 다단계 모델 접근 방식이 베이스라인을 크게 앞서며, 우승 팀은 36.5%의 작업 완료율을 기록했고 인간 평가와의 높은 일致성을 보였다.

ABSTRACT

Human intelligence has the remarkable ability to quickly adapt to new tasks and environments. Starting from a very young age, humans acquire new skills and learn how to solve new tasks either by imitating the behavior of others or by following provided natural language instructions. To facilitate research in this direction, we propose \emph{IGLU: Interactive Grounded Language Understanding in a Collaborative Environment}. The primary goal of the competition is to approach the problem of how to build interactive agents that learn to solve a task while provided with grounded natural language instructions in a collaborative environment. Understanding the complexity of the challenge, we split it into sub-tasks to make it feasible for participants.

연구 동기 및 목표

• 협업적이고 동적인 환경에서 기반된 자연어 지시를 통해 작업을 해결할 수 있는 상호작용형 에이전트를 개발하기 위해.
• 에이전트가 인간과 유사하게 사전에 명확화 요청을 하거나 새로운 지시에 적응할 수 있도록 유도하기 위해.
• 기반된 언어 이해 및 강화학습 에이전트의 훈련 및 평가를 지원하는 벤치마크 환경을 구축하기 위해.
• 신체적 에이전트에서 자연어 이해, 시각적 인식, 의사결정의 통합을 탐색하기 위해.
• 실제 세계의 일치성을 확보하기 위해 자동화된 메트릭과 인간이 개입하는 평가를 통해 에이전트 성능을 평가하기 위해.

제안 방법

• IGLU 환경은 에이전트가 관측의 일부로 자연어 지시를 수신하고 3D 세계와 상호작용하여 목표 구조물을 구축하는 것과 유사한 gym 기반 환경으로 구축된다.
• 기본 및 경쟁적 솔루션을 위해 APE-X, Rainbow, IMPALA, Dreamer 등의 알고리즘을 사용한 딥 강화학습으로 에이전트를 훈련시킨다.
• 우승 팀은 랜덤 탐색을 향상시키기 위해 채팅 데이터에서 유도된 색상 분포를 학습하고 샘플링하는 하이브리드 접근 방식을 사용했다.
• NeuroAI 팀은 세 단계 복합 모델을 활용했다: 미세조정된 Distil-RoBERTa 기반의 텍스트-타겟 격자 예측기, 시각적 표현을 위한 컨volutional 오토인코더, 그리고 크로스 어텐션 정책 헤드.
• 정책 네트워크는 이미지 임베딩(키/값)과 예측된 목표 격자(질의) 간의 크로스 어텐션을 사용하며, PPO를 통해 액션 및 가치 헤드를 훈련시켰다.
• 다양한 건설 작업에 걸쳐 일반화를 향상시키기 위해 훈련 세트를 증강하는 커리큘럼 학습 전략을 적용했다.

실험 결과

연구 질문

• RQ1 협업적이고 상호작용적인 환경에서 기반된 자연어 지시를 이해하고 실행할 수 있도록 에이전트를 어떻게 훈련시킬 수 있는가?
• RQ2 사전에 명확화 요청 및 피드백 요청이 작업 완료율과 내구성 향상에 어떤 역할을 하는가?
• RQ3 복합적인 건설 작업에서 언어, 시각, 행동 계획을 통합한 다중 모odal 모델이 단순한 베이스라인에 비해 어떻게 비교되는가?
• RQ4 사전 훈련된 언어 및 시각 모델을 미세조정하여 새로운 작업에 대해 제로샷 또는 피크샷 적응을 가능하게 할 수 있는 정도는 어느 정도인가?
• RQ5 자동화된 메트릭이 자연어 지시 수행 성능에 대한 인간 평가와 얼마나 관련이 깊은가?

주요 결과

• 하이브리드 지능 팀은 36.5%의 최고 자동화된 작업 완료율을 기록하여 'Silent Builder' 트랙에서 다른 참가자들을 앞섰다.
• NeuroAI 팀은 34.0%의 완료율로 2위를 차지했으며, 다단계, 어텐션 기반 정책 아키텍처를 사용해 뛰어난 성능을 보였다.
• 인간 평가 결과는 자동화된 결과를 확인했으며, 상위 팀은 평균 득표율 0.88과 Krippendorff의 일致성 점수 0.56을 기록했다.
• 모델 불필요 에이전트(IMPALA)는 2000만 스텝 후 정규화된 평균 보상 12를 달성했고, 모델 기반 에이전트(Dreamer)는 단 200만 스텝 만에 유사한 성능에 도달했다.
• APEX와 Rainbow를 사용한 격자 기반의 베이스라인은 단지 5블록 L자형 구조를 만드는 것과 같은 가장 단순한 작업들만 해결할 수 있었다.
• 대회 결과, 상호작용적이고 기반된 환경에서의 안정적인 작업 수행을 위해서는 언어 이해, 시각 인식, 행동 계획의 통합이 필수적임을 확인했다.