[논문 리뷰] Robust Locally-Linear Controllable Embedding

Ershad Banijamali, Rui Shu외 3명|arXiv (Cornell University)|2017. 10. 15.

Model Reduction and Neural Networks참고 문헌 12인용 수 25

한 줄 요약

이 논문은 강건한 국소선형 제어를 위한 새로운 모델인 Robust Locally-Linear Controllable Embedding (RCE)을 제안한다. 이 모델은 블로킹된 생성 모델과 구조적 동역학을 활용하여 예측 조건부 밀도 $ p(\mathbf{x}_{t+1}|\mathbf{x}_t) $ 를 직접 추정한다. E2C와는 달리, RCE는 미래 관측치를 조건으로 삼는 변분 추론 기반 구조를 사용하여 근사 오차를 감소시키고, 노이즈가 있는 동역학 하에서 성능을 크게 향상시킨다.

ABSTRACT

Embed-to-control (E2C) is a model for solving high-dimensional optimal control problems by combining variational auto-encoders with locally-optimal controllers. However, the E2C model suffers from two major drawbacks: 1) its objective function does not correspond to the likelihood of the data sequence and 2) the variational encoder used for embedding typically has large variational approximation error, especially when there is noise in the system dynamics. In this paper, we present a new model for learning robust locally-linear controllable embedding (RCE). Our model directly estimates the predictive conditional density of the future observation given the current one, while introducing the bottleneck between the current and future observations. Although the bottleneck provides a natural embedding candidate for control, our RCE model introduces additional specific structures in the generative graphical model so that the model dynamics can be robustly linearized. We also propose a principled variational approximation of the embedding posterior that takes the future observation into account, and thus, makes the variational approximation more robust against the noise. Experimental results show that RCE outperforms the E2C model, and does so significantly when the underlying dynamics is noisy.

연구 동기 및 목표

• E2C의 통계적 한계를 해결할 것 — 즉, 가능도 기반 목적함수를 갖추지 않으며, 비강건한 변분 근사 방법을 사용한다.
• 고차원 관측 공간에서 강건한 국소선형 제어를 지원하는 저차원 임bedding을 학습할 수 있는 원칙적인 방법을 개발할 것.
• 생성 모델에 선형화 점을 랜덤 변수로 명시적으로 모델링하여 구조적이고 국소선형적인 동역학을 가능하게 할 것.
• 미래 관측치를 조건으로 삼는 변분 추론 프레임워크를 설계하여 사후 근사 오차를 감소시킬 것.
• 기존의 국소최적 제어 알고리즘(예: iLQG)과의 호환성을 유지하면서도, 시스템 동역학의 노이즈에 강건한 모델을 확보할 것.

제안 방법

• BCDE의 영향을 받아, 잠재변수 $ \mathbf{z}_t $ 를 포함한 블로킹된 그래픽 모델을 사용하여 예측 조건부 밀도 $ p(\mathbf{x}_{t+1}|\mathbf{x}_t) $ 를 모델링할 것.
• 생성 모델 내에서 국소선형화 점을 랜덤 변수로 간주하여, 구조적이고 국소선형적인 동역학을 강제할 것.
• 미래 관측치 $ \mathbf{x}_{t+1} $ 를 조건으로 삼는 변분 사후분포 $ q(\mathbf{z}_t|\mathbf{x}_t, \mathbf{x}_{t+1}) $ 를 구성하여 근사 정확도를 향상시킬 것.
• 쌍방향 마진이 아닌 전체 시퀀스를 고려한 데이터 가능도에 대한 변분 하한을 최적화할 것.
• 생성 모델과 인식 모델을 분리하여 모듈러한 훈련과 더 나은 일반화를 가능하게 할 것.
• 전이 동역학의 결정론적 성질을 활용한 인식 모델의 분해 구조를 사용하여 추론 효율성을 향상시킬 것.

실험 결과

연구 질문

• RQ1 예측 조건부 밀도 $ p(\mathbf{x}_{t+1}|\mathbf{x}_t) $ 를 직접 추정하는 모델이 고차원적이고 노이즈가 많은 환경에서 E2C보다 더 나은 제어 성능을 달성할 수 있는가?
• RQ2 변분 사후분포를 미래 관측치에 조건화함으로써 변분 근사 오차가 감소하고, 시스템 노이즈에 대한 강건성이 향상되는가?
• RQ3 생성 모델 내에서 선형화 점을 구조적으로 모델링함으로써 더 정확하고 안정적인 국소선형 제어가 가능해지는가?
• RQ4 여러 제어 벤치마크에서 RCE 프레임워크가 재구성, 예측 및 계획 성능 측면에서 E2C와 비교해 어떻게 성능을 냅니까?
• RQ5 생성 모델과 인식 모델 간의 분리가 복잡한 제어 과제에서 훈련 안정성과 성능 향상에 기여하는가?

주요 결과

• RCE는 모든 벤치마크에서 E2C보다 계획 손실 측면에서 뚜렷이 뛰어나며, 특히 노이즈가 있는 동역학 하에서 두드러진 성능 향상을 보였다: 역퍼레일 막대 과제에서 61.1±16.2 vs. 97.1±34.1.
• 카트폴 균형 과제에서 RCE는 노이즈 하에서도 90%의 성공률을 기록했고, E2C는 60%에 그쳤으며, 예측 및 계획 손실 모두가 낮았다.
• 3관절 로봇 암 과제에서는 RCE가 노이즈 없는 조건에서 90%의 성공률을 유지했고, 노이즈 조건에서도 80%를 기록했지만, E2C는 65%로 떨어졌다.
• 고차원 시각 제어 과제에서 RCE는 재구성 및 예측 손실을 E2C 대비 최대 30%까지 감소시켰다.
• 노이즈가 증가함에 따라 성능 격차가 더욱 벌어지며, RCE의 미래 조건부 변분 추론이 노이즈에 의한 근사 오차를 효과적으로 완화함을 보여주었다.
• 생성 모델과 암시적 추론 간의 청결한 분리 덕분에 일반화 능력과 강건성이 향상되었으며, 안정적인 훈련과 향상된 제어 정책 학습이 가능했다.