[논문 리뷰] Adaptive Path-Integral Autoencoder: Representation Learning and Planning for Dynamical Systems

Jung-Su Ha, Youngjin Park외 3명|arXiv (Cornell University)|2018. 07. 05.

Model Reduction and Neural Networks참고 문헌 70인용 수 5

한 줄 요약

이 논문은 비디오와 같은 고차원 순차 데이터로부터 저차원 잠재 역학을 학습하기 위해 반응형 경로 적분 autoencoder (APIAE)를 제안한다. 사전 분포 추론을 확률적 최적 제어 문제로 재정의함으로써, APIAE는 적응형 경로 적분 방법을 통해 변분 매개수를 반복적으로 개선하여 더 낮은 변분 경계를 확보하고 잠재 공간에서의 효과적인 계획을 가능하게 한다. 이는 운동 예측 및 충돌 없는 이동 계획 분야에서 성공적으로 입증되었다.

ABSTRACT

We present a representation learning algorithm that learns a low-dimensional latent dynamical system from high-dimensional extit{sequential} raw data, e.g., video. The framework builds upon recent advances in amortized inference methods that use both an inference network and a refinement procedure to output samples from a variational distribution given an observation sequence, and takes advantage of the duality between control and inference to approximately solve the intractable inference problem using the path integral control approach. The learned dynamical model can be used to predict and plan the future states; we also present the efficient planning method that exploits the learned low-dimensional latent dynamics. Numerical experiments show that the proposed path-integral control based variational inference method leads to tighter lower bounds in statistical model learning of sequential data. The supplementary video: https://youtu.be/xCp35crUoLQ

연구 동기 및 목표

• 변분 추론을 사용한 순차 데이터 모델링에서의 추론 불가 문제를 해결하기 위해.
• 반복적인 변분 매개수 개선을 통해 암시적 추론의 갭을 줄이기 위해.
• 제어-추론 이중성을 활용하여 사전 분포 추론을 확률적 최적 제어 문제로 변환하기 위해.
• 개선된 표현 학습과 계획을 위한 백프로파게이션 가능한 반복적 개선을 통해 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 개선된 변분 추론이 역학 시스템에서 모델 학습과 미래 상태 예측 모두를 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 초기 상태와 제어 입력을 사용하여 변분 분포를 매개수화함으로써 제어-추론 이중성을 가능하게 한다.
• 경로 적분 방법을 사용하여 사전 분포 추론을 확률적 최적 제어(SOC) 문제로 재구성한다.
• 적응형 경로 적분 제어를 적용하여 반복적으로 변분 매개수를 개선함으로써 근사 품질을 향상시킨다.
• 구조적 추론 네트워크를 사용하여 변분 매개수를 출력함으로써 잠재 역학의 마르코프 성질을 보장한다.
• 백프로파게이션 가능한 반복적 개선 단계를 사용하여 추론 과정을 통해 역전파를 허용하고 엔드 투 엔드 훈련을 가능하게 한다.
• 학습된 저차원 잠재 역학을 활용하여 향후 관측 시퀀스의 효율적 계획을 수행한다.

실험 결과

연구 질문

• RQ1 경로 적분 제어는 순차 데이터 모델링에서 변분 분포를 개선하는 데 효과적으로 사용될 수 있는가?
• RQ2 반복적인 개선을 통한 반응형 추론은 표준 암시적 방법에 비해 더 낮은 변분 하한을 달성하는가?
• RQ3 학습된 잠재 역학 모델은 효과적이고 다양한 미래 상태 예측 및 계획을 지원할 수 있는가?
• RQ4 재표본화와 개선을 동시에 고려할 때, 재표본화의 포함 여부가 재구성 및 예측 성능에 어떤 영향을 미치는가?
• RQ5 제어-추론 이중성은 고차원 순차 데이터에서 사전 분포 근사 품질을 얼마나 향상시키는가?

주요 결과

• APIAE 모델은 모캡 데이터셋에서 -6.680의 하한을 확보하여 FIVO(-6.687)와 IWAE(-6.683)를 능가함으로써 더 낮은 변분 추론을 입증하였다.
• 재표본화 없이도 APIAE는 모캡 데이터셋에서 최고의 예측 성능(테스트 손실: -1.845)을 기록하여 재표본화가 포함된 모델들을 능가하였다.
• 모델은 운동 시퀀스를 성공적으로 재구성하였으며, 시각화 결과에서 걸음걸이 단계와 운동 패턴이 정확하게 재현됨을 확인할 수 있었다.
• 계획 결과는 충돌 없는 자연스러운 이동을 보였고, 동일한 초기 자세에서 다양한 예측 결과를 통해 학습된 불확실성을 반영하였다.
• 이 프레임워크는 저차원 잠재 역학을 활용하여 고차원 관측 공간의 효과적인 탐색을 가능하게 하였다.
• 실험 결과 재표본화가 재구성과 하한 개선에 유리한 것으로 나타났지만, 기울기 편향으로 인해 예측에는 덜 효과적임을 확인하여, 재표본화의 최적 사용은 계획에 국한되어야 함을 시사하였다.