[논문 리뷰] Control-Aware Representations for Model-based Reinforcement Learning

Brandon Cui, Yinlam Chow외 1명|arXiv (Cornell University)|2020. 06. 24.

Reinforcement Learning in Robotics참고 문헌 27인용 수 8

한 줄 요약

이 논문은 모델기반 강화학습에서 표현 학습과 제어를 함께 최적화하는 프레임워크인 제어 인식 표현 학습(CARL)을 소개한다. PCC 원칙과 일치하는 손실 함수를 제안하고 잠재 공간에서 iLQR를 SAC로 대체함으로써, 비선형 환경에서 특히 두드러진 성능 향상을 달성한다. 이는 Planar, Swingup, Cartpole와 같은 벤치마크 과제에서 표준 방법보다 제어 인식 표현 학습이 뛰어난 성능을 보임을 보여준다.

ABSTRACT

A major challenge in modern reinforcement learning (RL) is efficient control of dynamical systems from high-dimensional sensory observations. Learning controllable embedding (LCE) is a promising approach that addresses this challenge by embedding the observations into a lower-dimensional latent space, estimating the latent dynamics, and utilizing it to perform control in the latent space. Two important questions in this area are how to learn a representation that is amenable to the control problem at hand, and how to achieve an end-to-end framework for representation learning and control. In this paper, we take a few steps towards addressing these questions. We first formulate a LCE model to learn representations that are suitable to be used by a policy iteration style algorithm in the latent space. We call this model control-aware representation learning (CARL). We derive a loss function for CARL that has close connection to the prediction, consistency, and curvature (PCC) principle for representation learning. We derive three implementations of CARL. In the offline implementation, we replace the locally-linear control algorithm (e.g.,~iLQR) used by the existing LCE methods with a RL algorithm, namely model-based soft actor-critic, and show that it results in significant improvement. In online CARL, we interleave representation learning and control, and demonstrate further gain in performance. Finally, we propose value-guided CARL, a variation in which we optimize a weighted version of the CARL loss function, where the weights depend on the TD-error of the current policy. We evaluate the proposed algorithms by extensive experiments on benchmark tasks and compare them with several LCE baselines.

연구 동기 및 목표

• 모델기반 강화학습을 통해 원시 감각 관측에서 고차원 동적 시스템을 제어하는 과제를 해결한다.
• 잠재 공간에서 고정된 비적응형 제어기(예: iLQR)를 사용하는 기존 LCE 방법의 한계를 극복한다.
• 표현 학습과 제어를 함께 최적화하는 엔드 투 엔드 프레임워크를 개발하여 성능을 향상시킨다.
• 제어 알고리즘 선택과 반복적 정련이 표현 품질과 후속 제어 성능에 미치는 영향을 조사한다.
• 예측 정확도, 일관성, 동역학의 부드러움(PCC 원칙)과 같은 제어 관련 인도적 편향을 포함하는 손실 함수를 정식화한다.

제안 방법

• 잠재 공간에서 제어 인식 표현 학습을 위한 CARL 프레임워크를 제안하며, 표현과 제어를 위한 공동 목표를 수립한다.
• PCC 원칙(예측, 일관성, 곡률)과 강하게 연결된 CARL 손실 함수를 유도하여, 부드럽고 예측 가능한 잠재 동역학을 촉진한다.
• 세 가지 변형을 구현한다: 오프라인 CARL(iLQR를 모델기반 SAC로 대체), 온라인 CARL(표현과 정책의 반복적 공동 학습), 값 가중 CARL(TD 오차에 의해 손실을 재가중).
• 표현 학습을 위해 변동형 오토인코더(VAE)를 사용하고, 잠재 공간에서 전이를 예측하기 위한 동역학 모델을 구현한다.
• 잠재 공간에서 모델기반 소프트 액터-크리틱(SAC)을 정책 최적화 알고리즘으로 적용하여 샘플 효율적이고 안정적인 학습을 가능하게 한다.
• 값 가중 CARL에서는 현재 정책의 시간 차이(TD) 오차를 사용해 CARL 손실을 재가중하여 오차 또는 불확실성이 높은 영역을 우선적으로 처리한다.

실험 결과

연구 질문

• RQ1 제어 알고리즘을 학습 목표에 명시적으로 통합함으로써 표현 학습을 향상시킬 수 있는가?
• RQ2 잠재 공간에서 iLQR를 정책 반복 방식의 강화학습 알고리즘(SAC 등)으로 대체할 경우 제어 성능에 어떤 영향을 미치는가?
• RQ3 온라인 업데이트를 통해 표현 학습과 정책 최적화를 번갈아 수행하면 더 나은 표현과 제어 성능를 얻을 수 있는가?
• RQ4 TD 오차 기반의 손실 가중치는 어려운 제어 영역에 집중함으로써 성능을 추가로 향상시킬 수 있는가?
• RQ5 비선형 고차원 제어 과제에서 제어 인식 표현은 표준 LCE 방법보다 어떻게 비교되는가?

주요 결과

• 오프라인 CARL은 Planar 환경에서 PCC(iLQR 사용)보다 유의하게 뛰어나, 최악의 모델 기준 평균 스텝 수가 33.46±4.61%로 PCC의 6.15±2.89%를 상회한다.
• Cartpole 환경에서는 오프라인 CARL이 최고 성능 모델에서 100.0±0.0% 성공률을 기록하여 PCC의 99.85±0.08%를 초월하며 뛰어난 강건성을 보였다.
• 온라인 CARL은 오프라인 CARL보다 성능을 추가로 향상시켜, 반복적 공동 학습이 표현 품질과 제어 정책의 효과성을 높임을 보였다.
• 값 가중 CARL은 높은 오차 영역에 집중함으로써 일반화 성능을 향상시켰으며, 성능 변동 감소와 비연속적인 잠재 동역학에 대한 더 나은 대처 능력을 통해 이를 입증했다.
• 잠재 공간의 시각화 결과, CARL(SAC 사용)이 학습한 표현은 PCC(iLQR 사용)에 비해 비선형 환경에서 더 부드럽고 국소적으로 선형인 것으로 확인되었다.
• 고정된 시작 및 목표 상태 조건에서도 SOLAR의 성능는 CARL 변종에 비해 상당히 낮아, CARL의 뛰어난 샘플 효율성과 제어 인식 표현 학습 능력을 입증한다.