[논문 리뷰] Temporal Difference Variational Auto-Encoder

Karol Gregor, George Papamakarios외 3명|arXiv (Cornell University)|2018. 06. 08.

Reinforcement Learning in Robotics참고 문헌 44인용 수 14

한 줄 요약

TD-VAE는 시간 차이 학습 목표를 사용하여 시간적으로 분리된 시점에서 훈련함으로써 추상적이고 믿음 기반 상태 표현을 학습하는 생성적 시퀀스 모델이다. 이 모델은 단일 단계 전이 없이 장기간의 시간 간격을 직접 롤아웃할 수 있으며, 3D 시뮬레이터 및 DeepMind Lab과 같은 복잡한 환경에서 향상된 장기 예측과 불확실성 모델링을 달성한다.

ABSTRACT

To act and plan in complex environments, we posit that agents should have a mental simulator of the world with three characteristics: (a) it should build an abstract state representing the condition of the world; (b) it should form a belief which represents uncertainty on the world; (c) it should go beyond simple step-by-step simulation, and exhibit temporal abstraction. Motivated by the absence of a model satisfying all these requirements, we propose TD-VAE, a generative sequence model that learns representations containing explicit beliefs about states several steps into the future, and that can be rolled out directly without single-step transitions. TD-VAE is trained on pairs of temporally separated time points, using an analogue of temporal difference learning used in reinforcement learning.

연구 동기 및 목표

• 부분 관찰 환경에서 계획을 위한 시간 추상화, 명시적 믿음 상태, 추상적 상태 표현을 지원하는 생성 모델을 개발하는 것.
• 표준 VAE와 RNN이 장기 의존성과 먼 미래의 불확실성을 모델링하는 데 한계를 보이는 문제를 해결하는 것.
• 모든 중간 단계를 역전파하지 않고도 시간적으로 확장된 데이터 쌍을 사용해 모델을 훈련하는 것.
• 환경의 시간 단계 크기와 무관하게 잠재 표현에서 미래 상태를 직접 롤아웃할 수 있도록 하는 것.
• 학습된 믿음 상태가 향후 동역학 예측과 같은 후행 작업에 충분한 정보를 포함하고 있음을 입증하는 것.

제안 방법

• 스토케스틱 상태공간 모델을 위한 필터링 사후분포와 국소 스무딩 사후분포를 동시에 훈련하기 위해 수정된 하한 경계(ELBO)를 제안한다.
• 랜덤 시간 간격으로 분리된 관측 쌍을 사용해 시간 차이 학습 목표를 적용함으로써 점프형 예측을 가능하게 한다.
• 미래 상태에 대한 불확실성을 반영하기 위해 필터링 사후분포의 결정론적이고 코딩된 표현으로 믿음 상태 $ b $ 를 사용한다.
• DeepMind Lab과 같은 복잡한 환경에서 시각적 시퀀스를 모델링하기 위해 컨볼루션 LSTMs와 깊은 구조(16층)를 적용한다.
• 중간 단계를 건너뛰고 $ p(z_{t_2} | z_{t_1}) $ 에서 직접 $ z_{t_2} $ 를 샘플링함으로써 상태공간 롤아웃을 가능하게 한다.
• 장기 의존성에 훈련하기 위해 $[1,40]$ 범위에서 균일하게 샘플링된 시간 스킵 $ t_2 - t_1 $ 을 사용한다.

실험 결과

연구 질문

• RQ1 생성 모델은 장기간의 시간 간격 동안 미래 상태에 대한 불확실성을 포함하는 추상적이고 믿음 기반의 표현을 학습할 수 있는가?
• RQ2 시간적으로 분리된 데이터 쌍으로 훈련된 모델이 단일 단계 생성 없이 직접 롤아웃에 일반화할 수 있는가?
• RQ3 TD-VAE가 학습한 믿음 상태는 조화 진동자에서의 주파수 변화와 같은 향후 동역학을 예측하는 데 충분한 정보를 포함하는가?
• RQ4 TD-VAE는 표준 단일 단계 예측 모델과 비교해 장기 의존성과 관계 추론을 학습하는 데 얼마나 우수한가?
• RQ5 TD-VAE는 DeepMind Lab과 같은 복잡한 3D 환경의 일관되고 점프형 시뮬레이터를 학습할 수 있는가?

주요 결과

• TD-VAE는 깊은 상태공간 모델에 대한 표준 훈련 방법보다 조화 진동자 작업에서 더 높은 우도를 달성한다.
• 모델은 신호의 정확한 주파수와 진폭을 최대 20단계 앞서 예측할 수 있었으며, 시스템 노이즈로 인해 100단계 예측에서는 단계의 위상 정확도가 감소하였다.
• 관계 추론 작업에서 TD-VAE의 믿음 상태는 단일 단계 예측기보다 더 높은 정확도로 최종 주파수 $ f_4 $ 를 예측하는 이진 분류기의 성능을 향상시켰으며, 특히 장기간 간격과 작은 LSTMs에서 두드러진 성능 향상을 보였다.
• DeepMind Lab에서 믿음 상태 $ p_B(z|b) $ 에서 독립적으로 샘플링한 결과, 동일한 프레임에 유사한 이미지가 복원되었으며, 이는 현재 상태에 대한 일관된 믿음 표현을 학습했다는 것을 시사한다.
• 동일한 믿음 상태에서 유사한 믿음 상태에서 유도된 여러 예측 향후 상태는 서로 다른 프레임을 생성하였으며, 이는 모델이 다수의 가능한 결과에 대한 불확실성을 적절히 표현하고 있음을 보여준다.
• 모델에서 유도된 롤아웃은 몇 개의 시간 단계를 건너뛰며 전진하는 움직임을 생성하였으며, 이는 환경의 기본 시간 단계 크기와 무관하게 직접적인 점프형 롤아웃을 가능하게 함을 입증한다.