[논문 리뷰] IGLU Gridworld: Simple and Fast Environment for Embodied Dialog Agents

Artem Zholus, Alexey Skrynnik외 6명|arXiv (Cornell University)|2022. 05. 31.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

IGLU Gridworld는 대화 기반의 3D 블록 조립 작업에서 언어 조건부 몸이 있는 에이전트를 훈련하고 평가하기 위한 빠르고 가벼운 파이썬 기반 강화학습 환경이다. 다중 작업 히에라르키컬 기반 모델을 통해 히에라르키컬 RL, 스킬 학습, 일반화 연구를 가능하게 하며, 다양한 작업 유형에서 무작위 에이전트와 이전 경쟁 솔루션을 능가한다.

ABSTRACT

We present the IGLU Gridworld: a reinforcement learning environment for building and evaluating language conditioned embodied agents in a scalable way. The environment features visual agent embodiment, interactive learning through collaboration, language conditioned RL, and combinatorically hard task (3d blocks building) space.

연구 동기 및 목표

• 자연어 지시를 따르는 몸이 있는 에이전트를 훈련하고 평가하기 위한 확장성 있고 빠르며 투명한 환경을 개발하는 것.
• 협업 학습, 모방 학습 및 강화학습에서의 일반화, 몸이 있는 AI에서의 히에라르키컬 의사결정에 대한 연구를 지원하는 것.
• 조합적으로 풍부한 구조를 가진 형식화된 3D 격자 기반 작업 공간을 통해 개방형, 종신적 학습을 가능하게 하는 것.
• 스킬 기반 작업 분해와 커리큘럼 학습을 지원하는 벤치마크 환경을 제공하는 것.
• 통일되고 확장 가능한 파이썬 API를 통해 데이터 수집 및 모델 평가를 촉진하는 것.

제안 방법

• 환경은 순수한 파이썬으로 구현되었으며, 렌더러를 분리함으로써 헤드리스 모드 작동과 고속 시뮬레이션(렌더링 비활성화 시 최대 17,000 SPS)을 가능하게 한다.
• 관측값으로는 64×64×3의 POV 이미지, 에이전트 인벤토리, 3D 조립 영역 격자(11×9×11), 에이전트 자세(위치, 피치, 요)가 포함된다.
• 행동 공간은 14개의 이산 행동으로 구성된다: 이동, 점프, 블록 배치/파괴, 블록 유형 선택(1–6), 연속적인 카메라 제어.
• 보상은 현재 상태 격자와 목표 격자 간의 컨volution 유사성 유사도 절차를 통해 계산되며, 시간에 따라 블록 간 교차수를 최대화한다.
• 작업는 대화 컨텍스트, 목표 지시, 목표 블록 구성으로 이루어진 쌍으로 정의된 협업 세그먼트의 시퀀스로 구성된다.
• 다중 작업 히에라르키컬 RL 기반 모델(MHB)이 제안되며, 목표 예측을 위한 BERT 기반 NLP 모듈, 히어리스틱 서브태스크 생성기, 서브태스크 실행을 위한 APPO 기반 RL 모듈로 구성된다.

실험 결과

연구 질문

• RQ1 가벼운, 빠르고 확장 가능한 환경이 복잡한 3D 작업에서 언어 조건부 몸이 있는 에이전트의 훈련을 어떻게 지원할 수 있는가?
• RQ2 커리큘럼 학습을 통한 히에라르키컬 RL이 다양한 3D 블록 조립 작업 간의 일반화를 얼마나 향상시킬 수 있는가?
• RQ3 NLP, 히어리스틱 계획, RL 구성 요소를 포함한 모듈러한 MHB 아키텍처가 다중 스킬 환경에서 무작위 및 기본 에이전트를 능가할 수 있는가?
• RQ4 이 환경은 몸이 있는 AI에서 스킬 기반 일반화와 종신적 학습을 어떻게 지원하는가?
• RQ5 다중 작업 유형, 즉 비행형, 높이형, 대각선형, 평탄형, 난이도 높은 구조물에 대해 다중 작업 히에라르키컬 에이전트의 성능은 어떠한가?

주요 결과

• IGLU Gridworld는 헤드리스 모드에서 최대 17,000 스텝/초를 달성하여 3D 몸이 있는 작업에 대해 가장 빠른 파이썬 기반 RL 환경 중 하나이다.
• 다중 작업 히에라르키컬 기반 모델(MHB)은 모든 작업에서 F1 스코어 0.313을 기록하여 무작위 에이전트(0.039)를 크게 앞서며 복잡한 구조물에서도 뛰어난 성능을 보였다.
• NLP 헤드를 갖춘 MHB 에이전트가 모든 작업에서 F1 스코어 0.313을 기록하여 다양한 스킬 유형 간 강력한 일반화 능력을 보였다.
• 전체 파이프라인(히어리스틱 서브태스크 생성기를 포함)을 갖춘 MHB 에이전트가 모든 작업에서 F1 스코어 0.258을 기록하여 구조화된 서브태스크 계획의 가치를 입증했다.
• 조합적으로 어려운 3D 블록 구성과 대화 기반 협업을 통해 풍부한 작업 일반화를 지원한다.
• MHB 기반 모델은 IGLU 2021 NeurIPS 경쟁에 제출된 모든 솔루션을 능가하여 그 효과성을 입증했다.