[논문 리뷰] $\gamma$-Models: Generative Temporal Difference Learning for Infinite-Horizon Prediction

Michael Jänner, Igor Mordatch외 1명|arXiv (Cornell University)|2020. 01. 01.

Model Reduction and Neural Networks참고 문헌 43인용 수 5

한 줄 요약

이 논문은 무한 수렴 환경 동역학을 연속적이고 확률적인 후속 표현으로 모델링하는 생성적 시간 차이 학습 프레임워크인 γ-model을 제안한다. 생성적 재해석을 통한 TD 학습으로 훈련함으로써, γ-model은 모델리스와 모델기반 제어를 통합하여, 과제에 특화된 보상 없이도 정확한 장기 예측과 가치 추정을 가능하게 하며, GAN 및 정규화 흐름 구현을 통한 실험적 검증을 수행한다.

ABSTRACT

We introduce the $\gamma$-model, a predictive model of environment dynamics with an infinite probabilistic horizon. Replacing standard single-step models with $\gamma$-models leads to generalizations of the procedures central to model-based control, including the model rollout and model-based value estimation. The $\gamma$-model, trained with a generative reinterpretation of temporal difference learning, is a natural continuous analogue of the successor representation and a hybrid between model-free and model-based mechanisms. Like a value function, it contains information about the long-term future; like a standard predictive model, it is independent of task reward. We instantiate the $\gamma$-model as both a generative adversarial network and normalizing flow, discuss how its training reflects an inescapable tradeoff between training-time and testing-time compounding errors, and empirically investigate its utility for prediction and control.

연구 동기 및 목표

• 무한 확률 수렴 환경 동역학의 예측 모델을 개발하여, 유한 수렴 근사치에 의존하지 않고 장기 계획을 가능하게 한다.
• 단일 스텝 모델을 γ-model로 대체함으로써, 모델 롤아웃 및 가치 추정과 같은 모델기반 제어 절차를 일반화한다.
• 가장 장기적인 예측 능력을 유지하면서도 표준 모델의 과제 무관성과 예측 성질을 유지하는 하이브리드 메커니즘을 창출한다.
• 계층적 예측에서 훈련 시간 및 테스트 시간 오차 누적 간의 트레이드오프를 반영하는 훈련 절차를 체계화한다.
• GAN 및 정규화 흐름과 같은 딥 생성 아키텍처를 사용하여 γ-model의 예측 및 제어 과제에서의 실증적 검증을 수행한다.

제안 방법

• γ-model은 시간 차이 학습의 생성적 재해석을 사용하여 훈련되며, 모델은 무한 수렴에 걸쳐 미래 상태의 기대 할인 합을 예측한다.
• 이 모델은 후속 표현의 연속적 해석으로서, 즉각적인 보상과 독립적인 장기적 상태 방문 패턴을 인코딩한다.
• 모델은 생성적 적대 신경망(GAN)과 정규화 흐름으로 구현되어 미래 상태 분포의 유연하고 미분 가능한 밀도 추정을 가능하게 한다.
• 훈련 목표는 학습 중 분포 정확도와 추론 중 오차 누적에 대한 강건성 간의 균형을 맞추며, 훈련 및 테스트 시간 오차 누적 간의 근본적 트레이드오프를 반영한다.
• 상태 분포를 γ-model을 통해 전방으로 전파함으로써, 모델 롤아웃 및 모델기반 가치 추정 모두를 지원하여 장수렴 계획을 가능하게 한다.
• 프레임워크는 보상에 무관하므로, 동일한 모델이 재학습 없이도 여러 후행 과제를 지원할 수 있다.

실험 결과

연구 질문

• RQ1 무한 수렴 동역학을 포괄하면서도 처리 가능하고 일반화 가능한 예측 모델을 어떻게 설계할 수 있는가?
• RQ2 γ-model의 생성적 훈련 절차는 표준 단일 스텝 모델 대비 장기 예측 정확도를 얼마나 향상시키는가?
• RQ3 γ-model에서 훈련 시간과 테스트 시간 오차 누적 간의 트레이드오프는 무엇이며, 이는 후행 제어 성능에 어떻게 영향을 미치는가?
• RQ4 γ-model은 모델기반 강화학습에서 모델 롤아웃과 가치 추정 모두에 효과적으로 기여할 수 있는가?
• RQ5 다양한 딥 생성 아키텍처(예: GAN, 정규화 흐름)는 γ-model의 성능 및 안정성에 어떤 영향을 미치는가?

주요 결과

• γ-model은 장기 예측 과제에서 표준 단일 스텝 모델보다 우수한 성능을 보이며, 무한 수렴에 걸쳐 장기적 상태 동역학을 성공적으로 포착한다.
• 시간 차이 학습의 생성적 재해석을 통한 훈련은 모델이 과제 간 일반화 가능한 연속적 후속 표현을 학습할 수 있도록 한다.
• 프레임워크는 근본적 트레이드오프를 드러내며, 훈련 중 정확도가 높은 모델일수록 추론 중 오차 누적이 더 심하고, 반대로 정확도가 낮은 모델일수록 오차 누적이 덜하다.
• 실험 결과는 γ-model이 정확한 모델기반 가치 추정과 효과적인 모델 롤아웃을 가능하게 하여 후행 제어 성능을 지원함을 보여준다.
• 정규화 흐름과 GAN을 γ-model의 구현으로 사용함으로써, 프레임워크의 유연성과 다양한 딥 생성 아키텍처와의 호환성을 입증한다.
• γ-model은 과제 무관 예측 능력을 유지하여, 재학습 없이도 여러 보상 함수에 재사용 가능하다.