[논문 리뷰] Deep Hierarchical Planning from Pixels

Danijar Hafner, Kuang-Huei Lee외 2명|arXiv (Cornell University)|2022. 06. 08.

Reinforcement Learning in Robotics인용 수 14

한 줄 요약

Director는 시각적 제어 작업에서 희박한 보상 환경에서 직접 픽셀로부터 장기적 제어 정책을 학습하기 위해 세계 모델의 잠재 공간에서 계획을 수행하는 계층적 강화 학습 에이전트이다. 이는 이산 목표 오토인코더와 이중 수준 정책—매니저(고수준)가 추상적 목표를 선택하고 워커(저수준)가 행동을 실행하는 방식—을 사용하여 전역 상태나 밀도 높은 보상 없이도 희박한 보상 3D 탐색 및 시각적 제어 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Intelligent agents need to select long sequences of actions to solve complex tasks. While humans easily break down tasks into subgoals and reach them through millions of muscle commands, current artificial intelligence is limited to tasks with horizons of a few hundred decisions, despite large compute budgets. Research on hierarchical reinforcement learning aims to overcome this limitation but has proven to be challenging, current methods rely on manually specified goal spaces or subtasks, and no general solution exists. We introduce Director, a practical method for learning hierarchical behaviors directly from pixels by planning inside the latent space of a learned world model. The high-level policy maximizes task and exploration rewards by selecting latent goals and the low-level policy learns to achieve the goals. Despite operating in latent space, the decisions are interpretable because the world model can decode goals into images for visualization. Director outperforms exploration methods on tasks with sparse rewards, including 3D maze traversal with a quadruped robot from an egocentric camera and proprioception, without access to the global position or top-down view that was used by prior work. Director also learns successful behaviors across a wide range of environments, including visual control, Atari games, and DMLab levels.

연구 동기 및 목표

• 희박한 보상 환경에서 장기적 제어 작업을 위한 장기적 강화 학습 문제에 대응한다.
• 수동으로 하위 작업를 정의하거나 의미론적 목표 공간이 필요한 기존의 평탄한 강화 학습 및 계층적 방법의 한계를 극복한다.
• 전역 상태나 밀도 높은 지도 없이도 원시 픽셀에서 직접 해석 가능하고 일반화 가능한 계층적 행동 학습을 가능하게 한다.
• 동일한 초모수 세트를 사용하여 다양한 환경—3D 탐색, 아케이드 게임, DMLab, Control Suite—에서 성공을 입증한다.
• 학습된 잠재 목표를 시각적 이미지로 복원하여 인간이 검토할 수 있도록 해석 가능성을 확보한다.

제안 방법

• 플랜넷 기반 세계 모델을 훈련시켜 픽셀 입력에서 압축된 잠재 공간에서 미래 관측치를 예측한다.
• 잠재 상태 표현을 이산 코드로 압축하는 목표 오토인코더를 도입하여 고수준 계획을 지원한다.
• 매니저 정책을 구현하여 매 K=8단계마다 이산 목표 코드를 선택하며, 더 높은 시간 추상화 수준에서 작동한다.
• 목표 디코더를 사용하여 이산 코드를 잠재 공간 목표로 다시 매핑하여 워커 정책이 추적하도록 한다.
• 현재 상태와 목표에 기반하여 기본 동작을 선택하는 워커 정책을 훈련시켜 목표와의 유사도를 최대화한다.
• 임시로 연장된 탐색을 위해 자동인코더 복원 오차 기반 보너스를 사용하여 매니저를 최적화한다.

실험 결과

연구 질문

• RQ1 전역 상태나 밀도 높은 보상 없이도 픽셀에서 직접 계층적 강화 학습을 학습할 수 있는가?
• RQ2 학습된 세계 모델이 해석 가능하고 이산적인 목표 표현을 제공하여 효과적인 장기적 계획을 지원할 수 있는가?
• RQ3 이산 목표 선택과 잠재 공간 계획을 포함한 이중 수준 계층 구조가 희박한 보상 시각적 제어 작업에서 평탄한 정책보다 우수한 성능을 내는가?
• RQ4 동일한 초모수와 아키텍처가 3D 미로, 아케이드 게임, DMLab 수준 등 다양한 시각적 환경에서 일반화 가능한가?
• RQ5 학습된 잠재 목표가 복잡한 작업에서 의미론적으로 유의미한 하위 목표와 어떻게 대응하는가?

주요 결과

• Director는 3D 미로 탐색과 같은 두 가지 희박한 보상 벤치마크에서 표준 탐색 및 평탄한 강화 학습 기준선을 능가한다. 특히 시각적 시점에서 4족 보행 로봇을 사용한 3D 미로 탐색에서도 성능이 뛰어나다.
• 에이전트는 Ant Maze M과 같은 장기적 제어 작업을 성공적으로 해결하며, 보상 객체에 도달하기 전에 벽을 목표로 삼는 등 의미론적으로 유의미한 하위 목표로 탐색을 분해한다.
• 잠재 목표는 해석 가능하다: 세계 모델은 이를 이미지로 복원할 수 있으며, 이는 에이전트가 중간 단계의 시각적 랜드마크를 통해 계획을 수행한다는 것을 드러낸다.
• Director는 동일한 초모수와 아키텍처를 사용하여 아케이드 게임, DMLab, Control Suite 등 다양한 환경으로 일반화되며, 워커 정책에 작업 보상 신호를 제공하지 않아도 된다.
• 매니저 정책은 복원 오차 기반 보너스를 통해 임시로 연장된 탐색을 학습하여, 밀도 높은 지도 없이도 효과적인 장거리 목표 탐색이 가능하다.
• Ant Maze와 같은 작업에서, 에이전트는 속도와 자세 상태를 암시하는 목표를 선택함으로써 보행과 탐색을 조율하는 것을 학습한다. 이는 목표가 명시적으로 지정되지 않았음에도 불구하고 가능하다.