[논문 리뷰] From Pixels to Torques: Policy Learning with Deep Dynamical Models

Niklas Wahlström, Thomas B. Schön외 1명|arXiv (Cornell University)|2015. 02. 08.

Reinforcement Learning in Robotics참고 문헌 33인용 수 79

한 줄 요약

이 논문은 깊이 있는 동적 모델(DDM)을 사용하여 픽셀 관측값에서 직접 닫힌 루프 제어 정책을 학습하는 데이터 효율적인 모델 기반 강화학습 알고리즘을 제안한다. DDM은 딥 오토에코더를 통해 저차원 이미지 임베딩과 잠재 공간에서의 예측 전이 모델을 동시에 학습하여 정확한 장기 경로 예측을 가능하게 한다. 이러한 예측은 적응형 모델 예측 제어기(MPC)에 의해 실시간으로 최적의 토크를 생성하는 데 사용되며, 단지 15회의 시도만으로도 거의 최적의 성능을 달성한다—이것은 픽셀에서 토크로의 엔드 투 엔드 자율 학습으로 향한 중요한 도약을 보여준다.

ABSTRACT

Data-efficient learning in continuous state-action spaces using very high-dimensional observations remains a key challenge in developing fully autonomous systems. In this paper, we consider one instance of this challenge, the pixels to torques problem, where an agent must learn a closed-loop control policy from pixel information only. We introduce a data-efficient, model-based reinforcement learning algorithm that learns such a closed-loop policy directly from pixel information. The key ingredient is a deep dynamical model that uses deep auto-encoders to learn a low-dimensional embedding of images jointly with a predictive model in this low-dimensional feature space. Joint learning ensures that not only static but also dynamic properties of the data are accounted for. This is crucial for long-term predictions, which lie at the core of the adaptive model predictive control strategy that we use for closed-loop control. Compared to state-of-the-art reinforcement learning methods for continuous states and actions, our approach learns quickly, scales to high-dimensional state spaces and is an important step toward fully autonomous learning from pixels to torques.

연구 동기 및 목표

• 고차원 픽셀 관측값만 제공되는 상황에서 연속 상태-행동 공간에서의 데이터 비효율적 정책 학습 문제를 해결하기 위해.
• 공 ing된 상태 표현이나 저차원 상태 표현에 의존하지 않고, 자율적으로 인지-행동-학습 루프를 닫기 위해.
• 원시 이미지에서 학습 가능한 확장 가능한 모델 기반 강화학습 프레임워크를 개발하여 장기 예측을 통한 빠르고 적응형 제어를 가능하게 하기 위해.
• 비용이 많이 드는 시도 횟수를 최소화하면서도 실제 로봇 제어 과제에서 높은 샘플 효율성을 달성하기 위해.

제안 방법

• 딥 동적 모델(DDM)은 딥 오토에코더를 통해 저차원 특징 표현과 잠재 공간에서의 예측 전이 모델을 동시에 학습하도록 종단간 훈련된다.
• 에코더는 고차원 픽셀 입력을 압축된 잠재 표현(z_t)으로 매핑하고, 디코더는 입력 이미지를 재구성하여 재구성 오차를 최소화한다.
• 잠재 공간 내의 예측 모델은 다층 퍼셉트론을 사용하여 장기 예측 기간 동안의 예측 오차를 최소화하도록 훈련된다.
• 적응형 모델 예측 제어(MPC) 전략은 DDM의 예측을 사용하여 가치 함수 추정 없이 실시간으로 최적의 제어 동작(토크)을 계산한다.
• DDM은 재구성 오차와 예측 오차를 균형 잡는 공동 목적 함수를 사용하여 훈련되며, 이로써 잠재 공간이 정적 데이터 성질뿐 아니라 역학적 성질도 포괄하도록 보장된다.
• 시스템은 닫힌 루프 방식으로 작동한다: 각 시도 이후, 기준 이미지를 포함한 모든 수집된 데이터를 바탕으로 DDM이 재학습되어 향후 예측 및 제어 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 저차원 잠재 공간에서 표현과 역학을 동시에 학습하는 프레임워크가 원시 픽셀 입력에서 데이터 효율적인 정책 학습을 가능하게 할 수 있는가?
• RQ2 함께 특징과 예측 학습을 수행하는 딥 동적 모델이 고차원 관측 공간에서 장기 예측에 얼마나 잘 일반화되는가?
• RQ3 이러한 DDM 기반의 MPC가 가치 기반 또는 별도의 특징-역학 학습 접근법보다 샘플 효율성과 제어 성능 면에서 뛰어나게 되는가?
• RQ4 이 방법은 실제 상태 정보에 접근할 수 없음에도 불구하고, 최소한의 상호작용 횟수로 연속적인 로봇 제어 과제에서 거의 최적의 제어 성능을 달성할 수 있는가?
• RQ5 오토에코더와 예측 모델을 함께 학습하는 것과 별도로 학습하는 것의 영향은 장기 예측 정확도와 제어 성공률에 어떤 영향을 미치는가?

주요 결과

• 제안된 DDM+MPC 방법은 펜듈럼 제어 과제에서 15회의 시도(1,500개의 이미지 프레임) 후 거의 90%의 성공률를 기록하여 뛰어난 데이터 효율성을 입증했다.
• 2D 오토에코더 특징을 사용할 경우 PILCO보다 성능이 열등했으며, 이는 열악한 역학 모델링으로 인한 것이었고, 이는 표현과 역학의 공동 학습의 중요성을 강조한다.
• 20D PCA 특징과 2D 오토에코더 특징을 사용한 PILCO는 모두 실패했지만, DDM+MPC 방법은 성공했으며, 이는 장기 예측을 위해 표현과 역학의 공동 최적화가 필수적임을 시사한다.
• DDM은 잠재 공간에서 원형 구조를 학습하여 간단하고 정확한 역학적 행동 모델링을 가능하게 했으며, 이는 오토에코더와 예측 모델을 별도로 훈련할 경우 나타나지 않았을 것이다.
• 이 방법은 고차원 관측에 효과적으로 스케일업되었으며, 정책 실행 시 최소한의 계산 오버헤드로 실시간 온라인 제어를 가능하게 했다.
• 지상 진짜 2D 상태(ϕ, ˙ϕ)를 사용한 PILCO 기준과 거의 동일한 성능을 달성했음에도 불구하고, 이 방법은 오직 픽셀 입력과 상태 정보 없이도 성능을 달성했다.