[논문 리뷰] Embodied Concept Learner: Self-supervised Learning of Concepts and Mapping through Instruction Following

Mingyu Ding, Yan Xu외 5명|arXiv (Cornell University)|2023. 04. 07.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 상호작용과 모방을 통해 3D 환경에서 시각적 개념을 학습하고, 의미 맵을 구축하며 언어 기반 작업을 수행할 수 있는 모듈러하고 자기지도 학습 기반의 프레임워크인 Embodied Concept Learner(ECL)을 제안한다. 사전 학습된 객체 제안 네트워크를 사용해 언어 기술을 시각적 인스턴스에 뿌리내리고, 운동 파라랄랙스를 통해 비지도 방식으로 깊이를 학습함으로써, ECL은 의미 레이블 없이도 ALFRED 벤치마크에서 뛰어난 성능을 달성한다. 또한 학습된 개념의 해석 가능성과 후속 작업에 대한 재사용 가능성을 유지한다.

ABSTRACT

Humans, even at a very early age, can learn visual concepts and understand geometry and layout through active interaction with the environment, and generalize their compositions to complete tasks described by natural languages in novel scenes. To mimic such capability, we propose Embodied Concept Learner (ECL) in an interactive 3D environment. Specifically, a robot agent can ground visual concepts, build semantic maps and plan actions to complete tasks by learning purely from human demonstrations and language instructions, without access to ground-truth semantic and depth supervisions from simulations. ECL consists of: (i) an instruction parser that translates the natural languages into executable programs; (ii) an embodied concept learner that grounds visual concepts based on language descriptions; (iii) a map constructor that estimates depth and constructs semantic maps by leveraging the learned concepts; and (iv) a program executor with deterministic policies to execute each program. ECL has several appealing benefits thanks to its modularized design. Firstly, it enables the robotic agent to learn semantics and depth unsupervisedly acting like babies, e.g., ground concepts through active interaction and perceive depth by disparities when moving forward. Secondly, ECL is fully transparent and step-by-step interpretable in long-term planning. Thirdly, ECL could be beneficial for the embodied instruction following (EIF), outperforming previous works on the ALFRED benchmark when the semantic label is not provided. Also, the learned concept can be reused for other downstream tasks, such as reasoning of object states. Project page: http://ecl.csail.mit.edu/

연구 동기 및 목표

• 깊이 또는 의미에 대한 명시적 지도 없이도 상호작용과 시범을 통해 유아와 유사한 자기지도 학습을 구현하는 로봇 학습 프레임워크를 개발하는 것.
• 자연어 지시와 자아 중심 시각 관측만을 사용해 미리 보지 않은 환경에서 몸체 지시 수행을 가능하게 하는 것.
• 언어 개념을 시각적 인스턴스에 뿌리내리고, 비지도 깊이 추정을 통해 의미 맵을 구축함으로써 단계별로 해석 가능한 계획을 수립하는 것.
• 학습된 시각적 개념을 후속 작업, 예를 들어 물체 상태 추론 등에 재사용함으로써 모델의 재사용 가능성을 향상시키는 것.
• 블랙박스 엔드 투 엔드 모델과 지도 기반 맵핑 방법의 한계를 극복하기 위해 모듈러하고 해석 가능한 구성 요소를 통해 투명성과 일반화 능력을 향상시키는 것.

제안 방법

• 지시 파서는 자연어 목표를 '집기', '놓기', '청소하기' 등의 하위목표로 구성된 실행 가능한 프로그램으로 변환한다.
• 몸체 개념 학습자(Embodied Concept Learner)는 사전 학습된 객체 검출 네트워크와 단어 임베딩을 사용해 언어 임베딩과 시각적 객체 제안을 정렬함으로써, '칼'이나 '테이블'과 같은 개념에 대한 제로샷 뿌리내림을 가능하게 한다.
• 맵 생성기(맵 컨스트럭터)는 에이전트의 이동에 따른 운동 파라랄랙스를 이용한 비지도 단안 깊이 추정을 통해 깊이를 추정하고, 뿌리내린 개념과 깊이 추정치를 융합하여 의미 맵을 구축한다.
• 프로그램 실행기(프로그램 엑스큐터)는 패스트 마칭 방법 기반의 결정적 정책을 사용해 의미 맵에서 유도된 목표 향해 행동을 계획하고 실행함으로써 해석 가능성과 투명성을 확보한다.
• 시스템은 지침 파싱 → 개념 뿌리내림 → 맵 구축 → 행동 실행의 모듈러 파이프라인으로 구성되어 있어 단계별 투명성을 보장한다.
• 모든 구성 요소는 의미 레이블이나 깊이 지도 없이 인간의 시범과 언어 지시로부터 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 로봇 에이전트가 명시적 지도 없이 환경과의 상호작용을 통해 시각적 개념과 3D 장면 기하학을 학습할 수 있는가?
• RQ2 미리 보지 않은 환경에서 장기적인 목표 계획을 위해 언어 지시를 실행 가능한 해석 가능한 하위목표로 분해할 수 있는가?
• RQ3 운동 파라랄랙스를 통한 비지도 깊이 추정이 깊이 센서가 없는 환경에서 정확한 의미 맵 구축과 탐색을 가능하게 할 수 있는가?
• RQ4 학습된 시각적 개념이 물체 상태 추론과 같은 후속 작업에 얼마나 재사용 가능한가?
• RQ5 ECL의 모듈러하고 해석 가능한 설계는 블랙박스 엔드 투 엔드 모델에 비해 일반화 능력과 내구성에 어떤 영향을 미치는가?

주요 결과

• ECL은 의미 레이블이 없이도 ALFRED 벤치마크에서 경쟁적인 성능을 달성했으며, 새로운 환경에 대한 제로샷 일반화에서 이전 방법들을 능가했다.
• 모델은 강력한 제로샷 개념 뿌리내림 성능를 보였으며, 개별 물체 지문 평가에서 큰 물체에 대해 평균 정확도 85.7%, 작은 물체에 대해 72.1%를 기록했다.
• 오라클 버전에서 ECL은 새로운 테스트 환경에서 성공률 23.6%를 기록했으며, 이는 핵심 과제가 지시 수행 메커니즘 자체가 아니라 실제 환경으로의 시뮬레이션-실세계 전이 문제에 있음을 시사한다.
• 학습된 개념은 이식 가능하다: 예를 들어 토마토가 깨끗한지 여부를 판단하는 물체 상태 추론 등 후속 작업에 재사용할 수 있다.
• 운동 파라랄랙스를 통한 비지도 깊이 추정은 정확한 의미 맵 구축을 가능하게 하며, 에이전트의 이동과 위상 분석을 통해 깊이 정확도가 향상된다.
• 패스트 마칭 방법 기반의 결정적 정책은 목표가 의미 맵과 개념 뿌리내림에서 직접 유도되므로 투명하고 해석 가능한 경로 계획을 보장한다.