[논문 리뷰] Learning Actionable Representations with Goal-Conditioned Policies

Dibya Ghosh, Abhishek Gupta외 1명|arXiv (Cornell University)|2018. 11. 19.

Reinforcement Learning in Robotics참고 문헌 29인용 수 7

한 줄 요약

이 논문은 제어를 위한 행동 가능 표현(Actionable Representations for Control, ARC)을 제안한다. 이는 관찰의 모든 변동을 포괄하지 않고, 의사결정에 관련된 상태의 요소들만 포착하는 목표 조건화 표현 학습 방법이다. 목표 조건화 정책을 훈련하고, 서로 다른 목표 상태에 도달하기 위해 취하는 동작의 차이를 기반으로 표현을 추출함으로써, ARC는 역학을 고려한 기능적인 표현을 학습한다. 이는 시뮬레이션된 로봇 작업 전반에서 탐색, 계층적 강화학습, 그리고 후행 정책 학습에서 생성적 및 예측적 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Representation learning is a central challenge across a range of machine learning areas. In reinforcement learning, effective and functional representations have the potential to tremendously accelerate learning progress and solve more challenging problems. Most prior work on representation learning has focused on generative approaches, learning representations that capture all underlying factors of variation in the observation space in a more disentangled or well-ordered manner. In this paper, we instead aim to learn functionally salient representations: representations that are not necessarily complete in terms of capturing all factors of variation in the observation space, but rather aim to capture those factors of variation that are important for decision making -- that are "actionable." These representations are aware of the dynamics of the environment, and capture only the elements of the observation that are necessary for decision making rather than all factors of variation, without explicit reconstruction of the observation. We show how these representations can be useful to improve exploration for sparse reward problems, to enable long horizon hierarchical reinforcement learning, and as a state representation for learning policies for downstream tasks. We evaluate our method on a number of simulated environments, and compare it to prior methods for representation learning, exploration, and hierarchical reinforcement learning.

연구 동기 및 목표

• 관찰의 모든 요소를 포괄하는 것보다 의사결정에 기능적으로 중요한 표현을 학습하는 데 도전하는 것.
• 명시적인 재구성 또는 전체 상태 모델링이 필요 없이 환경의 역학을 암묵적으로 인코딩하는 표현 학습 방법을 개발하는 것.
• 목표 조건화 정책에서 유도된 표현을 통해 더 효율적인 탐색, 계층적 강화학습, 그리고 후행 정책 학습을 가능하게 하는 것.
• 단일 목표 조건화 정책에서 학습된 표현이 복잡하고 장기적인 태스크를 해결하는 데 재사용될 수 있음을 보여주는 것.

제안 방법

• 모든 초기 상태에서 임의의 목표 상태에 도달할 수 있도록 오프-폴리시 강화학습을 사용해 목표 조건화 정책(GCP)을 훈련한다.
• 다른 목표 상태에 도달하기 위해 취한 동작 간의 유클리드 거리를 측정하여 행동 가능한 표현을 추출하며, 이로써 거리가 기능적 차이를 반영하는 표현 공간을 형성한다.
• 다른 동작이 필요한 상태는 서로 멀리 떨어져 있고, 유사한 동작이 필요한 상태는 가까이 있는 표현 공간을 구성함으로써 의사결정에 관련된 특징을 강조한다.
• 재구성 손실을 피하고 제어 관련 역학에 집중하기 위해 동작 차이를 기반으로 한 대비 학습 목표를 사용한다.
• 고수준 정책을 계층적 강화학습에서 훈련하기 위해 표현 공간에서 직접 목표를 지정하거나 표현 공간의 k-means 클러스터를 활용한다.
• ARC를 사용해 더 나은 GCP를 훈련함으로써 반복적 개선을 가능하게 하며, 여러 태스크에 걸쳐 표현 학습 비용을 분산시킨다.

실험 결과

연구 질문

• RQ1 의사결정에 관련된 상태의 요소들만 포착하는 표현이 생성적 또는 예측적 표현보다 후행 강화학습 태스크에서 성능이 뛰어나게 되는가?
• RQ2 목표 조건화 정책에서 유도된 표현이 희소 보상 환경에서 탐색을 어떻게 향상시키는가?
• RQ3 ARC가 구조적이고 역학을 고려한 잠재 공간을 제공함으로써 더 효과적인 계층적 강화학습을 가능하게 하는가?
• RQ4 ARC를 사용할 경우, 최신 기술 대비 더 빠르고 샘플 효율적인 복잡하고 장기적인 태스크 학습이 이루어지는가?
• RQ5 동일한 표현이 여러 후행 태스크에 재사용될 수 있는가? 표현 학습 비용을 분산시킬 수 있는가?

주요 결과

• ARC는 후행 정책 학습, 탐색, 계층적 강화학습 태스크에서 생성적 및 예측적 표현 학습 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 다중 실내 탐색 및 웨이포인트 태스크에서, ARC 기반의 계층적 정책은 옵션-크리틱, 히로, 트포 등이 진전이 없었던 것과 비교해 더 높은 점수를 기록했다.
• ARC 표현은 명확하고 의미적으로 의미 있는 클러스터를 형성한다 — 예를 들어, 서로 다른 방을 그룹화함으로써 효과적인 고수준 계획 수립과 동작 공간의 冗餘성 감소를 가능하게 한다.
• 의미적으로 유사한 상태가 가까이 있는 구조화된 잠재 공간을 제공함으로써, 고수준 정책이 효율적인 탐색과 검색을 수행할 수 있도록 하여 효과적인 계층적 제어를 가능하게 한다.
• 단일 사전 훈련된 목표 조건화 정책을 재사용함으로써, ARC 기반 표현은 복잡한 태스크의 빠른 학습을 가능하게 하여 표현 학습의 분산 비용 이점을 입증했다.
• 동일한 데이터를 사용하더라도, 모델 기반 MPC 및 기타 베이스라인보다 성능이 뛰어나, 일반적인 상태 표현보다 기능적으로 중요한 표현의 우월성을 입증했다.