[논문 리뷰] Learning Affordance Landscapes for Interaction Exploration in 3D Environments

Tushar Nagarajan, Kristen Grauman|arXiv (Cornell University)|2020. 08. 20.

Human Pose and Action Recognition인용 수 28

한 줄 요약

이 논문은 3D 환경에서 상호작용 탐색을 통해 객체의 기능을 자율적으로 탐색하고 발견할 수 있도록 설계된 강화학습 프레임워크를 제안한다. 탐색 정책과 온라인으로 학습된 기능 세분화 모델을 결합함으로써 에이전트는 상호작용 가능한 물체와 행동을 식별할 수 있으며, 희소 보상과 지도 학습 없이도 후속 작업 성능을 크게 향상시킨다.

ABSTRACT

Embodied agents operating in human spaces must be able to master how their environment works: what objects can the agent use, and how can it use them? We introduce a reinforcement learning approach for exploration for interaction, whereby an embodied agent autonomously discovers the affordance landscape of a new unmapped 3D environment (such as an unfamiliar kitchen). Given an egocentric RGB-D camera and a high-level action space, the agent is rewarded for maximizing successful interactions while simultaneously training an image-based affordance segmentation model. The former yields a policy for acting efficiently in new environments to prepare for downstream interaction tasks, while the latter yields a convolutional neural network that maps image regions to the likelihood they permit each action, densifying the rewards for exploration. We demonstrate our idea with AI2-iTHOR. The results show agents can learn how to use new home environments intelligently and that it prepares them to rapidly address various downstream tasks like "find a knife and put it in the drawer." Project page: http://vision.cs.utexas.edu/projects/interaction-exploration/

연구 동기 및 목표

• 사전에 물체나 행동에 대한 지식 없이도 새로운 지도되지 않은 3D 환경에서 기능 지도를 자율적으로 탐색할 수 있도록 하는 것.
• 희소 보상과 복잡한 다단계 상호작용 작업에 도전하는 몸체 기반 AI 환경에서, 상호작용 탐색을 통해 사전 훈련된 에이전트를 개발하는 것.
• 탐색 정책과 기능 세분화 모델이 함께 진화하여 샘플 효율성과 일반화 능력을 향상시키는 공동 학습 프레임워크를 개발하는 것.
• 상호작용 기반 탐색이 후속 상호작용 작업 준비에 있어 탐색 전용 탐색보다 우수한 성능을 보이는지 입증하는 것.

제안 방법

• 에이전트는 자가 중심 RGB-D 카메라와 네비게이션(예: 회전, 이동) 및 조작 동작(예: 열기, 토글, 들어 올리기)을 포함하는 고수준 행동 공간을 사용한다.
• 성공적인 상호작용에서 유도된 조밀한 보상 신호를 사용하여 딥 강화학습 에이전트를 훈련함으로써 모든 물체와 행동을 신속하게 탐지하도록 유도한다.
• 부분적으로 관측된 상호작용 데이터를 사용하여 온라인 기능 세분화 모델을 학습하여 각 이미지 영역에서 행동 성공 가능성을 예측한다.
• 탐색 정책과 기능 모델을 함께 최적화하며, 기능 모델이 조밀한 감독을 제공함으로써 탐색 효율성이 향상된다.
• 실제 3D 주거 환경에서 복잡한 물체 상호작용을 수행할 수 있도록 AI2-iTHOR 시뮬레이터를 활용하여 성능을 평가한다.
• 후속 작업는 희소 보상과 함께 Proximal Policy Optimization (PPO)를 사용하여 미세조정하며, 사전 훈련된 탐색 정책를 사전 지식으로 활용한다.

실험 결과

연구 질문

• RQ1 자기 주도적 탐색을 통해 새로운 3D 환경에서 상호작용 가능한 모든 물체와 유효한 행동을 자율적으로 탐지할 수 있는가?
• RQ2 상호작용 기반 탐색과 탐색 전용 탐색 간에 커버리지, 상호작용 탐지 및 후속 작업 성능 측면에서 어떤 차이가 있는가?
• RQ3 상호작용 데이터에서 학습된 기능 세분화 모델이 복잡한 다단계 상호작용 작업의 정책 학습에 얼마나 기여하는가?
• RQ4 상호작용 탐색을 사전 훈련으로 사용하면, 희소 보상이 적용된 후속 작업에서 높은 성공률에 도달하기 위해 필요한 에피소드 수가 줄어드는가?

주요 결과

• 제안된 IntExp 에이전트는 최고의 베이스라인 대비 1.33배 더 많은 상호작용을 탐지하며, 42% 적은 타임스텝 수로 동일한 성능를 달성한다.
• Retrieve, Store, Wash, Heat 등의 후속 작업에서 IntExp 에이전트는 Curiosity 및 Novelty와 같은 베이스라인 대비 최대 16% 높은 성공률를 기록한다.
• IntExp 에이전트는 500,000개의 미세조정 프레임만으로도 다단계 작업(예: Retrieve 27.25%, Store 27.00%)에서 높은 성공률를 달성하며, 궁극적으로 궁극적 기반 모델보다도 뛰어난 성능를 보인다.
• 상호작용 데이터에서 학습된 기능 모델은 행동 예측(예: 열기, 토글)에서 평균 정밀도(mAP) 26.5를 기록하며, 무작위 및 기존 기반 방법보다 뚜렷하게 뛰어난 성능를 보인다.
• 에이전트가 스스로 생성한 상호작용 데이터를 기반으로 학습함으로써 인간의 지도 학습이 필요로 하는 양을 줄일 수 있다.
• 기능 예측 실패 사례(예: 커튼, 프라이팬)는 노이즈가 많거나 완전하지 않은 상호작용 데이터에서 기인하며, 훈련에 있어 데이터 품질 향상의 필요성을 시사한다.