[논문 리뷰] Embed to Control: A Locally Linear Latent Dynamics Model for Control from Raw Images

Manuel Watter, Jost Tobias Springenberg외 2명|arXiv (Cornell University)|2015. 06. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 219

한 줄 요약

Embed to Control (E2C)는 원시 이미지 관측에서 국소적으로 선형인 잠재 동역학 모델을 학습하는 변분 오토인코더 기반 방법으로, 알려진 시스템 모델이 필요 없이 효과적인 모델 기반 제어를 가능하게 한다. 이미지 데이터를 동역학이 약간 선형인 저차원 잠재 공간으로 투영함으로써, E2C는 장기적인 이미지 시퀀스 예측과 복잡한 시각적 제어 작업에서 거의 최적에 가까운 제어 성능을 달성하며, 기준선 표현 학습 방법들을 능가한다.

ABSTRACT

We introduce Embed to Control (E2C), a method for model learning and control of non-linear dynamical systems from raw pixel images. E2C consists of a deep generative model, belonging to the family of variational autoencoders, that learns to generate image trajectories from a latent space in which the dynamics is constrained to be locally linear. Our model is derived directly from an optimal control formulation in latent space, supports long-term prediction of image sequences and exhibits strong performance on a variety of complex control problems.

연구 동기 및 목표

• 원시 픽셀 입력에서 직접 비선형 동역학 시스템의 모델 기반 제어를 가능하게 하여 수동으로 설계된 상태 표현이 필요 없도록 하는 것.
• 고차원 감각 입력(예: 이미지)이 있는 확률적 최적 제어 문제를 해결하기 위해 저차원이고 국소적으로 선형인 잠재 공간을 학습하는 것.
• 잠재 동역학을 국소적으로 선형으로 제약함으로써 안정적인 장기적인 이미지 시퀀스 예측과 강건한 제어를 보장하는 것.
• iLQG 최적 제어 이론에서 유도된 변분 추론 프레임워크를 사용하여 모델을 완전히 비지도 학습으로 훈련하는 것.
• 원시 시스템 동역학에 접근할 수 없음에도 불구하고, 이미지 관측에서 복잡한 시각적 제어 작업(예: 카트폴 밸런싱, 로봇 암 제어)에서 뛰어난 성능을 보이는 것.

제안 방법

• E2C는 컨volutional 추론 네트워크와 deconvolutional 생성 네트워크를 갖춘 딥 변분 오토인코더를 사용하여 원시 이미지를 저차원 잠재 공간으로 매핑한다.
• 잠재 동역학은 국소적으로 선형인 것으로 제약되어, 잠재 공간에서 iLQG를 통한 효율적이고 안정적인 확률적 최적 제어가 가능해진다.
• 모델은 iLQG 수식에서 유도된 변분 추론 목표 함수를 사용하여 엔드 투 엔드로 훈련되며, 재구성 정확도와 예측 정확도를 동시에 최적화한다.
• 시퀀스 기반의 궤적 손실이 적용되어, 잠재 공간에서 일관되고 장기적인 이미지 시퀀스 생성을 장려한다.
• 잠재 상태 전이 모델은 후행 수평 제어를 지원하도록 훈련되어 장기적인 계획 수립과 액션 시퀀스 최적화를 가능하게 한다.
• 확률적 생성 모델을 사용하여 타당한 이미지 궤적에 대한 믿음(신뢰도)을 유지함으로써, 불확실성 인식 기반 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 원시 이미지에서 시스템 동역학이 약간 국소적으로 선형인 저차원 잠재 공간을 학습할 수 있는가?
• RQ2 잠재 공간에서 국소적으로 선형인 동역학은 원시 시각 입력에서 효과적인 장기적인 이미지 시퀀스 예측과 제어를 가능하게 하는가?
• RQ3 E2C의 성능는 모델리스 및 기타 표현 학습 기준선 대비 시각적 제어 작업에서 어떻게 비교되는가?
• RQ4 잠재 공간에서 국소적으로 선형인 제약은 비선형 잠재 모델 대비 제어 안정성과 계획 정확도를 향상시키는가?
• RQ5 진정한 시스템 동역학에 접근할 수 없음에도 불구하고, E2C는 복잡한 시각적 제어 작업에서 거의 최적의 제어 성능을 달성할 수 있는가?

주요 결과

• E2C는 시각적 제어 작업에서 거의 최적의 제어 성능을 달성하였으며, 카트폴의 경우 비용이 11.13, 로봇 암의 경우 85.12로, 실제 동역학을 사용한 최적 제어기(각각 7.28과 60.74)에 비해 약간 높을 뿐이다.
• 모델은 잠재 공간에서 일관되고 장기적인 이미지 시퀀스를 성공적으로 생성하여, 장시간에 걸친 안정적이고 정확한 계획 수립이 가능하다.
• E2C는 제어 성능 및 복잡한 시각적 제어 작업에서의 예측 정확도 측면에서 여러 비지도 표현 학습 기준선을 능가한다.
• 국소적으로 선형인 잠재 동역학 모델은 원시 이미지 공간이 매우 비선형적이고 고차원일지라도, iLQG를 통한 강건하고 효율적인 제어를 가능하게 한다.
• 이 방법은 고전적 제어 문제와 시뮬레이션된 로봇 시스템을 포함한 다양한 제어 작업에 대해 잘 일반화되며, 오직 원시 이미지 관측만을 사용한다.
• 업컨볼루션 네트워크를 갖춘 딥 생성 모델의 사용은 잠재 궤적에서 고해상도 이미지 시퀀스 생성에 효과적임을 입증한다.