[논문 리뷰] DeepKoCo: Efficient latent planning with an invariant Koopman representation.

Bas van der Heijden, Laura Ferranti외 2명|arXiv (Cornell University)|2020. 11. 25.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

DeepKoCo는 손실 압축 오토인코더를 사용해 이미지에서 불변 쿠프만 표현을 학습하는 모델 기반 강화 학습 에이전트를 제안한다. 이는 모델 예측 제어를 통해 선형 계획을 효율적으로 수행할 수 있게 한다. 성능은 모델 무관 방법과 유사하지만, 임의의 작업에 관련이 없는 동역학에 대해 강건하여 실세계 적용에 더 적합하다.

ABSTRACT

This paper presents DeepKoCo, a novel model-based agent that learns a latent Koopman representation from images. This representation allows DeepKoCo to plan efficiently using linear control methods, such as linear model predictive control. Compared to traditional agents, DeepKoCo is invariant to task-irrelevant dynamics, thanks to the use of a tailored lossy autoencoder network that allows DeepKoCo to learn latent dynamics that reconstruct and predict only observed costs, rather than all observed dynamics. As our results show, DeepKoCo achieves a similar final performance as traditional model-free methods on complex control tasks, while being considerably more robust to distractor dynamics, making the proposed agent more amenable for real-life applications.

연구 동기 및 목표

• 시각 기반 제어 작업에서 효율적 계획을 가능하게 하는 모델 기반 에이전트를 개발한다.
• 관측된 비용에 집중한 잠재 표현을 통해 작업에 관련이 없는 동역학에 대한 민감도를 감소시킨다.
• 복잡한 고차원 시각 환경에서 선형 제어 방법(예: 선형 MPC)의 사용을 가능하게 한다.
• 왜곡 동역학이 흔한 실세계 시나리오에서의 강건성을 향상시킨다.
• 모델 무관 방법과 동등한 성능를 달성하면서도 계산 효율성을 유지한다.

제안 방법

• 시각 관측치를 저차원 잠재 공간으로 압축하기 위해 맞춤형 손실 압축 오토인코더 네트워크를 사용한다.
• 잠재 동역학은 향후 상태와 비용의 선형 예측을 가능하게 하는 쿠프만 연산자를 사용하여 모델링된다.
• 모델은 전체 동역학보다는 재구성 및 관측된 비용의 예측을 우선시하는 손실 함수로 훈련된다.
• 효율적 계획을 위해 잠재 공간에서 선형 모델 예측 제어(MPC)가 적용된다.
• 비용 중심의 훈련 목표 덕분에 쿠프만 표현은 작업에 관련이 없는 동역학에 대해 불변이다.
• 에이전트는 잠재 공간에서 선형 제어 방법을 사용해 계획을 수행하며, 비선형 계획에 비해 계산 비용을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 쿠프만 기반 표현은 고차원 시각 제어 작업에서 효율적 계획을 가능하게 하는가?
• RQ2 작업에 관련이 없는 동역학에 대한 불변성이 실세계 환경에서의 강건성에 어떻게 기여하는가?
• RQ3 비용 중심의 잠재 표현은 모델 무관 에이전트와 동등한 성능를 달성할 수 있는가?
• RQ4 잠재 공간에서의 선형 제어는 샘플 효율성과 강건성 측면에서 비선형 계획을 어느 정도 능가하는가?
• RQ5 손실 압축 오토인코더 설계는 최소한의 작업 관련 동역학 표현을 학습하는 데 어떻게 기여하는가?

주요 결과

• DeepKoCo는 복잡한 제어 작업에서 최첨단 모델 무관 에이전트와 유사한 최종 성능를 달성한다.
• 기존 모델 기반 에이전트에 비해 왜곡 동역학에 대해 유의미하게 향상된 강건성을 보여준다.
• 잠재 쿠프만 공간에서의 선형 모델 예측 제어는 효율적이고 확장 가능한 계획을 가능하게 한다.
• 손실 압축 오토인코더는 잠재 표현에서 관측 가능한 비용에만 집중함으로써 작업에 관련이 없는 동역학에 대한 불변성을 보장한다.
• 모델은 부정확한 환경 동역학에 대한 민감도를 감소시켜 실세계 적용 가능성을 향상시킨다.
• 쿠프만 표현은 잠재 공간에서 선형 동역학을 사용해 장기 예측 비용을 정확하게 예측할 수 있게 한다.