[논문 리뷰] Prediction, Consistency, Curvature: Representation Learning for Locally-Linear Control

Nir Levine, Yinlam Chow외 4명|arXiv (Cornell University)|2019. 09. 04.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 8

한 줄 요약

이 논문은 iLQR와 같은 국소 선형 제어 알고리즘에 최적화된 잠재 표현을 학습하기 위한 예측, 일관성, 곡률(PCC) 프레임워크를 제안한다. 표현 학습을 최적 제어 문제로 재정의함으로써 PCC는 예측, 일관성, 곡률의 세 가지 구성 요소를 가진 손실 함수를 도입하여 안정적이고 재현 가능한 학습과 기존 방법에 비해 뛰어난 제어 성능을 달성한다. 이는 시각 기반 제어 작업에서 성과가 뛰어나다.

ABSTRACT

Many real-world sequential decision-making problems can be formulated as optimal control with high-dimensional observations and unknown dynamics. A promising approach is to embed the high-dimensional observations into a lower-dimensional latent representation space, estimate the latent dynamics model, then utilize this model for control in the latent space. An important open question is how to learn a representation that is amenable to existing control algorithms? In this paper, we focus on learning representations for locally-linear control algorithms, such as iterative LQR (iLQR). By formulating and analyzing the representation learning problem from an optimal control perspective, we establish three underlying principles that the learned representation should comprise: 1) accurate prediction in the observation space, 2) consistency between latent and observation space dynamics, and 3) low curvature in the latent space transitions. These principles naturally correspond to a loss function that consists of three terms: prediction, consistency, and curvature (PCC). Crucially, to make PCC tractable, we derive an amortized variational bound for the PCC loss function. Extensive experiments on benchmark domains demonstrate that the new variational-PCC learning algorithm benefits from significantly more stable and reproducible training, and leads to superior control performance. Further ablation studies give support to the importance of all three PCC components for learning a good latent space for control.

연구 동기 및 목표

• 고차원 관측 공간에서 국소 선형 제어(LLC) 알고리즘에 적합한 잠재 표현을 학습하는 데 도전하는 것.
• LLC 방법을 통한 효과적인 제어를 가능하게 하기 위해 잠재 공간이 만족해야 할 세 가지 핵심 원칙인 예측, 일관성, 곡률을 규명하고 형식화하는 것.
• PCC 목표 하에 잠재 변수 모델을 학습하기 위한 실현 가능한 변분 추론 방법을 개발하여 계산의 타당성을 확보하는 것.
• 모든 세 구성 요소가 높은 제어 성능와 학습 안정성 확보에 필수적임을 경험적으로 검증하는 것.

제안 방법

• 표현 학습 문제를 최적 제어 관점에서 재정의하여 정확한 관측 동역학 예측, 잠재 동역학와 진짜 동역학 간의 일관성, 잠재 전이의 낮은 곡률이라는 세 원칙을 유도한다.
• 세 가지 항으로 구성된 PCC 손실 함수를 설계한다: 예측 손실(재구성 오차), 일관성 손실(암호화된 궤적 동역학 일치), 곡률 손실(잠재 동역학의 헤시안 노름 최소화).
• 학습의 실현 가능성을 확보하기 위해 PCC 손실에 대한 약화된 변분 경계를 유도하여 잠재 모델의 엔드 투 엔드 미분 가능한 학습을 가능하게 한다.
• 곡률 손실에서 자코비안 계산의 직접 약화를 도입하여 학습 효율성과 안정성을 향상시킨다.
• PCC 목표 하에 공동으로 학습되는 별도의 동역학 및 역방향 동역학 헤드를 갖춘 변분 오토인코더 아키텍처를 사용한다.
• 잠재 공간에서의 계획을 위해 반복적 LQR(iLQR)를 사용하며, 낮은 곡률 성질을 활용해 정확한 1차 근사화를 달성한다.

실험 결과

연구 질문

• RQ1 최적 제어 원리에서 체계적으로 유도된 표현 학습 프레임워크가 국소 선형 제어 알고리즘의 성능을 향상시키는가?
• RQ2 잠재 공간의 어떤 특정 성질이 iLQR를 통해 잠재 공간에서의 계획이 근사 최적 제어 정책을 도출하도록 보장하는가?
• RQ3 손실 함수의 예측, 일관성, 곡률 구성 요소가 함께 학습 안정성과 제어 성능에 어떤 영향을 미치는가?
• RQ4 제안된 곡률 정규화 항은 실질적으로 효과적이며 계산적으로 실현 가능한가?
• RQ5 절단 실험을 통해 PCC 프레임워크의 세 구성 요소 모두가 필수적임을 얼마나 잘 확인할 수 있는가?

주요 결과

• 최고 성능 모델을 사용할 때, PCC는 노이즈 있는 Planar 환경에서 E2C(6.1%)와 RCE(5.5%)에 비해 44.7%의 성공률을 기록하여 뚜렷한 성능 향상을 보였다.
• 노이즈 없는 Planar 환경에서는 PCC가 모든 모델에서 17.9%의 성공률을 기록했고, E2C는 0.6%, R2C는 1.2%였으며, 이는 상당한 성능 향상을 의미한다.
• 절단 실험 결과, 일관성 또는 곡률 정규화를 제거할 경우 성능에 심각한 하락이 발생하여 두 구성 요소의 필수성은 검증되었다.
• PCC 학습 과정은 기존 방법보다 더 안정적이고 재현 가능했으며, 모든 평가 환경에서 랜덤 시드 간 변동성이 낮았다.
• 제안된 곡률 정규화 항은 신규이며 효과적이며, 자코비안 계산의 직접 약화가 효율적이고 안정적인 학습을 가능하게 했다.
• 3링크 매니퓰레이터 작업에서 PCC는 노이즈 있는 설정에서 1.8%의 성공률을 기록했고, RCE는 0%, E2C는 1.3%였으며, 이는 고노이즈 환경에서도 뛰어난 내성성을 보였다.