[논문 리뷰] Visual Semantic Planning using Deep Successor Representations

Yuke Zhu, Daniel Gordon외 6명|arXiv (Cornell University)|2017. 05. 23.

Human Pose and Action Recognition참고 문헌 1인용 수 29

한 줄 요약

이 논문은 동적인 환경에서 시각적 관측에서 고수준의 동작 시퀀스를 학습할 수 있도록 깊이 있는 후계자 표현을 사용하는 시각적 의미 계획 프레임워크를 제안한다. 유사 학습과 깊이 있는 후계자 표현을 결합함으로써, THOR 환경에서 다양한 작업들에 대해 거의 최적의 성능를 달성하며, 강력한 작업 간 일반화 능력과 물체, 동작, 가능성을 이해하는 데 있어 견고한 시각적 이해 능력을 입증한다.

ABSTRACT

A crucial capability of real-world intelligent agents is their ability to plan a sequence of actions to achieve their goals in the visual world. In this work, we address the problem of visual semantic planning: the task of predicting a sequence of actions from visual observations that transform a dynamic environment from an initial state to a goal state. Doing so entails knowledge about objects and their affordances, as well as actions and their preconditions and effects. We propose learning these through interacting with a visual and dynamic environment. Our proposed solution involves bootstrapping reinforcement learning with imitation learning. To ensure cross task generalization, we develop a deep predictive model based on successor representations. Our experimental results show near optimal results across a wide range of tasks in the challenging THOR environment.

연구 동기 및 목표

• 동적인 실생활 유사 환경에서 목표를 달성하기 위해 시각 입력에서 동작 시퀀스를 예측하는 시각적 의미 계획의 과제를 해결하기 위해.
• 상호작용 기반 학습을 활용하여 난이도 높은 시각적 상태 공간과 단순한 탐색의 한계를 극복하기 위해.
• 환경 역학과 작업 보상의 이식 가능한 표현을 학습하여 작업 간 일반화를 가능하게 하기 위해.
• 경험을 통해 물체의 가능성을, 동작의 사전 조건과 영향을 학습함으로써 인지와 행동을 능동적인 상호작용을 통해 통합하기 위해.
• 특정 작업에 맞게 재학습이 필요 없이 다양한 작업에 일반화할 수 있는 확장 가능한 시뮬레이션 기반 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 환경 역학과 작업별 보상을 분리하여 이식이 가능한 작업 간 전이를 가능하게 하는 깊이 있는 후계자 표현(SR) 모델을 사용한다.
• 샘플 효율성이 떨어지는 강화 학습의 문제를 줄이기 위해 탐색을 부스터링하고 정책 학습을 안내하기 위해 유사 학습을 결합한다.
• 딥 네ural 네트워크 아키텍처가 후계자 상태와 보상을 예측하도록 훈련되며, 안정적인 훈련을 위해 듀얼 DQN 스타일 업데이트를 사용하는 타겟 네트워크를 활용한다.
• 유사한 동작들(예: 인접한 위치로 이동, 동일한 물체 유형을 집는 것)을 통합함으로써 행동 공간을 추상화하여 복잡성을 줄이면서도 작업 의미를 유지한다.
• 실행 전에 PDDL 형식을 사용하여 동작의 사전 조건을 검증하여, 환경에서 실행 가능한 동작들만 수행되도록 보장한다.
• 이 프레임워크는 25개의 다양한 난이도의 작업들로 구성된 THOR 환경에서 평가되었으며, 에이전트들은 상호작용을 통해 학습하고 다양한 작업 간에 일반화한다.

실험 결과

연구 질문

• RQ1 깊이 있는 후계자 표현은 고차원적이고 부분 관측 가능한 시각적 환경에서 효과적인 시각적 의미 계획을 가능하게 할 수 있는가?
• RQ2 후계자 표현과 결합된 유사 학습은 시각적 계획 작업에서 샘플 효율성과 수렴 속도를 얼마나 향상시키는가?
• RQ3 이전에 해결된 작업들에서의 지식을 새로운, 보지 못한 작업들로 이식할 수 있는 정도는 어느 정도인가?
• RQ4 모델은 시각적 상호작용만으로도 물체의 가능성, 동작의 사전 조건, 영향을 학습하고 일반화할 수 있는가?
• RQ5 제안된 방법은 시뮬레이션에서 다양한 복잡한 실생활 유사 작업들에 대해 거의 최적의 성능를 달성하는가?

주요 결과

• 제안된 방법은 THOR 환경에서 평가된 25개의 모든 작업에서 거의 최적의 성능를 달성했으며, 쉬운, 중간, 어려운 난이도 수준을 포함한다.
• 깊이 있는 후계자 표현 덕분에 강력한 작업 간 일반화 능력이 확보되었으며, 한 작업에서 학습된 정책가 새로운, 보지 못한 작업들로 효과적으로 전이되었다.
• 유사 학습의 통합은 샘플 효율성을 크게 향상시켜 순수한 강화 학습 대비 수렴에 필요한 에피소드 수를 감소시켰다.
• 복잡한 작업들에서의 정성적 행동을 통해 모델이 물체, 동작 및 그 가능성을 잘 시각적으로 이해하고 있음을 입증했다.
• 제거 실험을 통해 후계자 표현이 전이 성능에 핵심적인 역할을 했음을 확인했으며, 이 구성 요소가 없는 베이스라인보다 뛰어난 성능를 보였다.
• 변동하는 시각적 관측과 복잡한 동작 시퀀스(예: 이동, 물체 조작, 목표 위치에 배치)를 처리하는 데 있어 뛰어난 견고성을 보였다.