[논문 리뷰] Prediction and Control with Temporal Segment Models

Nikhil Mishra, Pieter Abbeel외 1명|arXiv (Cornell University)|2017. 03. 12.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 22

한 줄 요약

이 논문은 기록된 과거 상태, 과거 행동 및 계획된 미래 행동을 조건으로 삼아, 변분 오토에인코더를 사용한 잠재 행동 사전을 갖춘 딥 생성 모델을 제안한다. 이 모델은 시간적 세그먼트 동안 전체 미래 상태 궤적을 예측하며, 복잡하고 확률적인 시스템에서 안정적인 장기 예측을 가능하게 한다. 이는 단계별 모델보다 궤적 최적화 및 모델 기반 제어 과제에서 우수한 성능을 보인다.

ABSTRACT

We introduce a method for learning the dynamics of complex nonlinear systems based on deep generative models over temporal segments of states and actions. Unlike dynamics models that operate over individual discrete timesteps, we learn the distribution over future state trajectories conditioned on past state, past action, and planned future action trajectories, as well as a latent prior over action trajectories. Our approach is based on convolutional autoregressive models and variational autoencoders. It makes stable and accurate predictions over long horizons for complex, stochastic systems, effectively expressing uncertainty and modeling the effects of collisions, sensory noise, and action delays. The learned dynamics model and action prior can be used for end-to-end, fully differentiable trajectory optimization and model-based policy optimization, which we use to evaluate the performance and sample-efficiency of our method.

연구 동기 및 목표

• 장기 예측에서 단계별 동역학 모델의 불안정성과 누적 오차 문제를 해결하기 위해.
• 충돌 및 감각 노이즈와 같은 복잡한 상호작용과 불확실성을 개별 시간 단위가 아닌 전체 시간 세그먼트에 걸쳐 종합적으로 모델링하기 위해.
• 학습 데이터에 일치하는 행동 궤적에 대한 잠재 사전을 학습시켜 모델 기반 강화학습에서 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 완전히 미분 가능한 생성 동역학 모델을 통해 궤적 및 정책 최적화를 엔드 투 엔드로 가능하게 하기 위해.
• 세그먼트 기반 모델링이 확률적이고 비선형 환경에서 기존의 단계별 모델보다 더 정확하고 안정적인 예측을 제공하는지 입증하기 위해.

제안 방법

• 이 방법은 과거 상태, 과거 행동 및 계획된 미래 행동을 조건으로 삼아 미래 상태 궤적의 조건부 분포를 모델링하기 위해 변분 오토에인코더(VAE)를 사용한다.
• 최적화된 행동가 분포가 학습 데이터의 분포 내에 머무르도록 보장하기 위해 별도의 VAE를 도입하여 행동 세그먼트에 대한 잠재 사전을 학습한다.
• 재구성 손실과 KL 발산의 조합을 사용하여, 불확실성을 표현하는 분리 가능하고 의미 있는 잠재 표현을 가능하게 하며, 이는 모델의 정규화를 도모한다.
• 동역학 모델과 행동 사전을 모두 통해 엔드 투 엔드 백프로파게이션을 지원하며, 이는 미분 가능한 궤적 최적화를 가능하게 한다.
• 시간적 의존성을 효율적으로 모델링하기 위해 컨볼루션형 자동재귀 네트워크를 활용한다.
• 미래 행동 시퀀스를 명시적으로 조건으로 삼아, 불확실성 인식 상태 분포를 갖춘 예측 계획을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간 세그먼트에 걸쳐 전체 미래 상태 궤적을 모델링하는 것이 단계별 모델 대비 장기 예측 정확도를 향상시키는가?
• RQ2 잠재 행동 사전은 모델 기반 강화학습에서 제어 정책의 일관성과 성능을 어떻게 향상시키는가?
• RQ3 세그먼트 기반 생성 모델은 확률적 동역학, 충돌 및 감각 노이즈로 인한 불확실성을 어느 정도 잘 포착할 수 있는가?
• RQ4 잠재 행동 사전의 사용은 학습 단계와 추론 단계 간의 분포 이탈을 줄여 실제 환경에서의 정책 전이 성능을 향상시키는가?
• RQ5 이 프레임워크는 복잡한 로봇 환경에서 더 샘플 효율적이고 안정적인 정책 최적화를 가능하게 하는가?

주요 결과

• 제안된 방법은 특히 확률적 동역학과 충돌이 존재하는 환경에서 단계별 모델보다 훨씬 더 정확한 장기 예측 성능을 달성한다.
• 모델은 푸시 환경의 질적 샘플을 통해 굴절 각도 및 충돌 후 운동과 같은 상태 궤적의 불확실성을 효과적으로 포착한다.
• 잠재 행동 사전의 사용은 최적화 과정에서 더 매끄럽고 현실적인 행동 시퀀스를 생성하며, 실세계 성능을 떨어뜨리는 날카롭고 불연속적인 행동을 방지한다.
• 잠재 행동 사전을 사용한 궤적 최적화는 실제 환경에서 더 높은 보상을 얻으며, 모델 예측과 진짜 동역학 간의 격차가 줄어들었음을 보여준다.
• 모델은 의미 있는 잠재 공간을 학습하여, 결정론적이지만 복잡한 시스템에서도 동일한 잠재 코드로 다양한 가능한 미래를 표현할 수 있다.
• 이 방법은 궤적 및 정책 학습을 위한 엔드 투 엔드로 가능한 미분 가능한 최적화를 가능하게 하여, 모델 기반 강화학습에서의 유용성을 입증한다.