[논문 리뷰] Environment Predictive Coding for Embodied Agents

Santhosh Kumar Ramakrishnan, Tushar Nagarajan외 2명|arXiv (Cornell University)|2021. 02. 03.

Human Pose and Action Recognition참고 문헌 62인용 수 5

한 줄 요약

이 논문은 자기지도 학습 방법인 환경 예측 코딩(EPC)을 제안한다. EPC는 카메라 자세 정보를 조건으로 삼아 자기 중심 영상 시퀀스에서 마스킹된 시각적 콘텐츠를 예측하도록 에이전트를 훈련시켜 3D 환경 수준의 표현을 학습한다. EPC는 가시성 태스크에서 기존 최고 수준의 방법들을 능가하며, 제한된 경험으로도 뛰어난 샘플 효율성과 강건성을 확보한다.

ABSTRACT

We introduce environment predictive coding, a self-supervised approach to learn environment-level representations for embodied agents. In contrast to prior work on self-supervised learning for images, we aim to jointly encode a series of images gathered by an agent as it moves about in 3D environments. We learn these representations via a zone prediction task, where we intelligently mask out portions of an agent's trajectory and predict them from the unmasked portions, conditioned on the agent's camera poses. By learning such representations on a collection of videos, we demonstrate successful transfer to multiple downstream navigation-oriented tasks. Our experiments on the photorealistic 3D environments of Gibson and Matterport3D show that our method outperforms the state-of-the-art on challenging tasks with only a limited budget of experience.

연구 동기 및 목표

• 시각적 탐색을 위한 몸체 기반 에이전트에 대해 일반화 가능하고 고수준의 3D 환경 표현이 부족한 문제를 해결하기 위해.
• 비정형적인 자기 중심 영상 데이터로부터 환경 수준의 표현을 학습하여 탐색 태스크에서 샘플 효율성과 이식 가능성을 향상시키기 위해.
• 영상 통과 과정에서 학습한 기하학적 및 의미적 사전 지식을 활용해 3D 환경의 볼 수 없는 부분에 대해 추론할 수 있도록 에이전트를 가능하게 하기 위해.
• 태스크 특화 지도 학습이나 수작업으로 구성된 지ap을 기반으로 하지 않는 자기지도 학습 방법을 개발하기 위해.

제안 방법

• 제한된 겹침을 가지며, 시각적 및 기하학적으로 연결된 영역으로 자기 중심 영상 시퀀스를 분할한다.
• 경로에서 무작위로 영역을 마스킹하고, 마스킹되지 않은 영역과 카메라 자세 정보를 사용해 변형기 기반 모델이 마스킹된 뷰를 예측하도록 훈련한다.
• 예측이 시각적 특징과 3D 카메라 자세 정보에 조건이 되는 방식으로 환경 수준의 표현을 학습한다.
• 대규모 워크스루 영상 데이터에서 3D 환경(예: Gibson 및 Matterport3D)을 대상으로 자기지도 사전 훈련을 수행한다.
• 결과로 생성된 환경 임베딩은 후속 탐색 태스크(예: 영역 커버리지, 물체 탐색, 점 기반 탐색 등)에 대해 미세조정하거나 이식한다.
• 이 방법은 표준 영상 예측 또는 컨텍스트 예측 작업과는 달리, 예측을 3D 공간적 관계에 명시적으로 기반시킨다.

실험 결과

연구 질문

• RQ1 환경 수준의 표현을 자기지도 학습으로 학습하면 몸체 기반 에이전트 탐색에서 샘플 효율성이 향상되는가?
• RQ2 영상 통과 과정에서 훈련된 모델이 자세 정보와 마스킹되지 않은 뷰만을 사용해 3D 환경의 누락된 시각적 콘텐츠를 추론할 수 있는가?
• RQ3 EPC는 이미지 수준의 표현 학습 및 엔드 투 엔드 훈련과 비교해 후속 태스크 성능과 강건성 측면에서 어떻게 성능을 내는가?
• RQ4 EPC는 센서 노이즈와 최적화되지 않은 영상 수집 전략에 대해 어느 정도 강건한가?

주요 결과

• Gibson-S에서 EPC는 1300만 프레임 기준으로 31.5 m²의 영역 커버리지 성과를 내며, SMT (Video)보다 2.8 m² 높다. Gibson-L에서는 64.0 m²로 SMT (Video)보다 19.3 m² 높다.
• Matterport3D에서는 EPC가 176.3 m²의 영역 커버리지와 13.8개의 물체 커버리지 성과를 내며, SMT (Video)의 126.2 m² 및 10.0개의 물체 커버리지보다 뚜렷이 뛰어나다.
• 간단한 히어리스틱 방식이나 깊이 및 자세 노이즈를 도입한 영상 수집 전략을 사용할 때도 EPC는 강건성을 유지하며, 데이터 품질 변동에 대한 저항력을 입증한다.
• 깊이 및 자세 센서에 손상이 가해진 상황에서도 EPC는 모든 베이스라인(포함: OccupancyMemory)을 능가하는 강건성을 보이며, 센서 노이즈에 대한 저항력이 뛰어나다.
• 오프-폴리시 영상 워크스루로부터 추가 경험을 고려한 후에도 EPC는 성능 우위를 유지하며, 진정한 샘플 효율성을 입증한다.
• MP3D-cat에서는 9.0개의 물체 커버리지, MP3D-inst에서는 36.4개의 물체 커버리지 성과를 내며, 두 지표에서 모두 다음으로 우수한 방법보다 뚜렷이 뛰어나다.