[논문 리뷰] Context-Aware Planning and Environment-Aware Memory for Instruction Following Embodied Agents

Byeonghwi Kim, Jinyeon Kim외 3명|arXiv (Cornell University)|2023. 08. 14.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 몸체적 에이전트를 위한 새로운 프레임워크인 CAPEAM을 제안한다. 이는 작업과 관련된 물체와 환경 상태를 고려한 계획(CAP)을 통합하여 작업 수행 성능을 향상시키고, 시간에 따라 물체 상태와 마스크를 추적하는 환경 인지 메모리(EAM)를 도입함으로써 지능형 계획 능력을 향상시킨다. 이 방법은 ALFRED 벤치마크에서 최신 기술 성능을 달성하여, 미리 보지 않은 환경에서 성공률을 최대 10.70% 향상시켰다.

ABSTRACT

Accomplishing household tasks requires to plan step-by-step actions considering the consequences of previous actions. However, the state-of-the-art embodied agents often make mistakes in navigating the environment and interacting with proper objects due to imperfect learning by imitating experts or algorithmic planners without such knowledge. To improve both visual navigation and object interaction, we propose to consider the consequence of taken actions by CAPEAM (Context-Aware Planning and Environment-Aware Memory) that incorporates semantic context (e.g., appropriate objects to interact with) in a sequence of actions, and the changed spatial arrangement and states of interacted objects (e.g., location that the object has been moved to) in inferring the subsequent actions. We empirically show that the agent with the proposed CAPEAM achieves state-of-the-art performance in various metrics using a challenging interactive instruction following benchmark in both seen and unseen environments by large margins (up to +10.70% in unseen env.).

연구 동기 및 목표

• 행동 결과와 환경 상태 변화를 충분히 모델링하지 못해 발생하는 일반화 능력 부족 문제를 해결한다.
• 작업과 관련된 물체와 같은 의미적 맥락을 계획 과정에 통합하여 장기 목표 달성 계획을 향상시킨다.
• 가림과 동적 물체 상태로 인한 실패를 줄이기 위해 물체 위치와 시각적 마스크를 지속적으로 기억함으로써 해결한다.
• 사람이 설계한 계획 템플릿에 의존하지 않고도 새로운 환경에서 견고한 물체 상호작용을 가능하게 한다.
• 맥락적 및 환경 인지 인식을 통해 불필요한 탐색과 잘못된 물체 상호작용을 줄여 에이전트의 효율성을 향상시킨다.

제안 방법

• 자연어 지시문에서 작업과 관련된 물체(맥락)를 먼저 예측하는 맥락 인지 계획(CAP)을 도입하여, 이후 하위 목표 시퀀스를 생성한다.
• CAP 내에서 하위 목표 계획기(sub-goal planner)를 사용하여 맥락 물체의 자리표시자(placeholder)를 포함한 실행 가능한 동작 시퀀스를 생성함으로써, 모든 동작이 핵심 물체와 일치하도록 보장한다.
• 물체의 위치와 인스턴스 마스크를 포함한 물체 상태를 저장하는 환경 인지 메모리(EAM)를 구현하여, 물체가 가려져 있더라도 지속적으로 추적할 수 있도록 한다.
• 이전 관측에서 확보한 물체 마스크를 유지함으로써 EAM에서 후행적 물체 인식을 가능하게 하여, 현재 인식에 실패하더라도 상호작용이 가능하도록 한다.
• EAM에 물체 이동 추적 기능을 통합하여, 이미 조작된 물체에 대한 반복 상호작용을 방지함으로써, 중복 동작으로 인한 작업 실패를 줄인다.
• CAP와 EAM을 통합하여 종단 간 학습 가능한 에이전트 아키텍처를 설계하여, 맥락 기반 계획과 지속적인 환경 메모리를 활용한 의사결정 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 작업과 관련된 물체와 같은 의미적 맥락을 계획 단계에 통합하면 몸체적 에이전트의 장기 목표 달성 성공률이 크게 향상되는가?
• RQ2 물체 상태와 시각적 마스크의 지속적 기억 유지가 가림과 동적 환경으로 인한 실패를 어느 정도 줄이는가?
• RQ3 기존의 인간이 설계한 템플릿 없이 제안된 방법이 새로운 환경에 대해 얼마나 잘 일반화되는가?
• RQ4 환경 인지 메모리가 이미 조작된 물체에 대한 반복 상호작용을 방지하여 작업 효율성을 향상시키는가?
• RQ5 맥락 인지 계획과 환경 인지 메모리의 조합이 다양한 지시 수행 벤치마크에서 성공률과 목표 조건부 성공률에 측정 가능한 성과 향상을 가져오는가?

주요 결과

• CAPEAM는 ALFRED 벤치마크에서 최신 기술 성능을 달성하였으며, 이전 방법 대비 새로운 환경에서 성공률이 최대 10.70% 향상되었다.
• CAP를 적용한 에이전트는 작업과 관련된 맥락에 집중함으로써 잘못된 물체 상호작용을 크게 줄였다. 예를 들어, 시계와 Bowls가 필요한 작업에서 칼과 같은 관련 없는 물체를 피하는 데 성공했다.
• EAM 모듈은 이전에 저장된 마스크를 유지하고 재사용함으로써, 가려진 물체(예: 시계에 의해 가려진 밥그릇)에 성공적으로 상호작용할 수 있도록 하여, 시각적 가림으로 인한 실패를 방지했다.
• EAM 내의 물체 이동 추적 기능은 이미 옮겨진 물체(예: 휴지통)에 대한 반복 상호작용을 방지하여, 기존 기반선 에이전트에서 흔히 발생하는 작업 파손 오류를 줄였다.
• CAPEAM는 본문 및 새로운 환경 모두에서 기존 방법을 능가하며, 인간이 설계한 계획 템플릿에 의존하지 않고도 강력한 제로샷 일반화 능력을 보였다.
• 이 방법은 CVPR 2023에서 열린 몸체적 AI 워크숍에서 일반화 언어 기반 에이전트 챌린지에서 1등을 차지하여, 그 견고성과 일반화 능력이 입증되었다.