[논문 리뷰] Variational Inference for Data-Efficient Model Learning in POMDPs

Sebastian Tschiatschek, Kai Arulkumaran외 2명|arXiv (Cornell University)|2018. 05. 23.

Reinforcement Learning in Robotics참고 문헌 38인용 수 7

한 줄 요약

이 논문은 동적 및 보상 모델의 생성 모델을 학습하기 위해 구조적 암시적 변분 추론을 사용하는 데이터 효율적인 POMDP 모델 학습 방법인 DELIP을 제안한다. POMCP와 같은 블랙박스 계획기와 통합함으로써 DELIP는 특히 보상이 알려져 있거나 변화하는 환경에서 샘플 복잡도를 크게 감소시키면서도 효과적인 제어 전략을 달성한다.

ABSTRACT

Partially observable Markov decision processes (POMDPs) are a powerful abstraction for tasks that require decision making under uncertainty, and capture a wide range of real world tasks. Today, effective planning approaches exist that generate effective strategies given black-box models of a POMDP task. Yet, an open question is how to acquire accurate models for complex domains. In this paper we propose DELIP, an approach to model learning for POMDPs that utilizes amortized structured variational inference. We empirically show that our model leads to effective control strategies when coupled with state-of-the-art planners. Intuitively, model-based approaches should be particularly beneficial in environments with changing reward structures, or where rewards are initially unknown. Our experiments confirm that DELIP is particularly effective in this setting.

연구 동기 및 목표

• 부분 관찰으로 인해 장기적인 상호작용 이력을 고려해야 하는 부분 관찰 마르코프 결정 과정(POMDP)의 모델 학습에서의 데이터 비효율성 문제를 해결하기 위해.
• 도메인 특화된 가정과 사전 지식을 최소화하면서도 유연하고 종단간 훈련이 가능한 모델 학습 프레임워크를 개발하기 위해.
• 제한된 상호작용 데이터로부터 정확한 동적 및 보상 모델을 학습함으로써 POMDP에서 효과적인 계획을 가능하게 하기 위해.
• 변분 추론 기반의 모델 학습이 변화하는 또는 초기에는 알려지지 않은 보상 구조에서 모델 자유 기반 기준보다 샘플 효율성에서 뛰어나게 성능을 발휘할 수 있음을 입증하기 위해.

제안 방법

• DELIP는 깊이 신경망을 사용하여 후행 분포를 매개변수화함으로써 POMDP의 은닉 상태, 행동, 관측값에 대한 공동 후행 분포를 학습하기 위해 구조적 암시적 변분 추론을 사용한다.
• 이 방법은 은닉 동역학을 포착하는 은닉 상태를 갖는 딥 상태공간 모델로 환경를 모델링한다. 관측값은 이러한 상태로부터 조건부로 생성된다.
• 관측 시퀀스에서 은닉 상태에 대한 후행 분포를 추론하기 위해 인식 네트워크를 사용함으로써 암시적 추론과 효율적인 온라인 적응을 가능하게 한다.
• 학습된 생성 모델은 블랙박스 계획기(POMCP)와 통합되어, 명시적인 모델 지식이 없이도 추론된 모델을 사용해 계획을 수행할 수 있도록 한다.
• 스토하스틱 그래디언트 변분 추론을 통해 종단간 훈련이 가능하며, 관측된 궤적의 로그우도에 대한 미분 가능한 변분 하한(ELBO)을 최적화한다.
• 이 방법은 강력한 동역학 또는 관측 모델에 대한 파rametric 가정을 피함으로써 확장성과 일반성을 확보하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 구조적 암시적 변분 추론을 통해 제한된 상호작용 데이터로부터 POMDP의 동적 및 보상 모델을 데이터 효율적으로 학습시킬 수 있는가?
• RQ2 보상이 초기에는 알려져 있거나 시간이 지남에 따라 변화하는 경우, DELIP의 샘플 효율성은 DRQN과 같은 모델 자유 기반 기준과 비교해 어떻게 되는가?
• RQ3 학습된 모델과 블랙박스 계획기를 조합했을 때, 복잡한 부분 관찰 가능한 환경에서 효과적인 제어 정책을 도출할 수 있는가?
• RQ4 은닉 상태에 대한 암시적 추론을 사용할 경우, 비-암시적 또는 모델 자유 기반 대비 일반화 능력과 샘플 효율성이 향상되는가?

주요 결과

• DELIP는 특히 보상이 변화하거나 초기에는 알려져 있지 않은 구조를 가진 환경에서, 모델 자유 기반 기준보다 훨씬 적은 학습 샘플로 경쟁적인 제어 성능을 달성한다.
• 변분 추론 기반 모델 학습과 POMCP의 통합은 환경의 동역학이 복잡하고 부분 관찰 가능한 경우에도 효과적인 계획을 가능하게 한다.
• 실험 결과, DELIP는 보상이 사전에 알려져 있지 않은 설정에서 DRQN 모델 자유 기반 기준보다 샘플 효율성에서 뛰어나게 성능을 발휘한다.
• 암시적 추론을 사용함으로써 장기적인 상호작용 시퀀스에 대한 효율적이고 확장 가능한 추론이 가능해져, 믿음 상태 추정의 계산 부담을 감소시킨다.
• 학습된 모델는 다양한 보상 함수에 대해 잘 일반화되어 있어 보상 이동에 대한 강건성을 보여준다.
• 모델 학습과 계획 간의 루프를 닫음으로써, 현대적 변분 추론이 종단간 데이터 효율적인 POMDP 에이전트를 효과적으로 구축하는 데 사용될 수 있음을 보여준다.