[논문 리뷰] Interpretable Dynamics Models for Data-Efficient Reinforcement Learning

Markus Kaiser, Clemens Otte외 2명|arXiv (Cornell University)|2019. 07. 10.

Gaussian Processes and Bayesian Inference참고 문헌 6인용 수 5

한 줄 요약

이 논문은 가우시안 프로세스 기반 전이 모델에 전문 지식을 통합하여 데이터 효율적인 강화학습을 위한 베이지안이고 해석 가능한 동역학 모델을 제안한다. 변분 추론을 통해 동역학을 구조화된 구성요소(유동, 노이즈, 추락 사건)로 분해함으로써 인간이 이해할 수 있는 통찰을 제공하고, 이중성 및 이질적 분산을 가지는 벤치마크에서 NFQ보다 뛰어난 데이터 효율성을 달성한다.

ABSTRACT

In this paper, we present a Bayesian view on model-based reinforcement learning. We use expert knowledge to impose structure on the transition model and present an efficient learning scheme based on variational inference. This scheme is applied to a heteroskedastic and bimodal benchmark problem on which we compare our results to NFQ and show how our approach yields human-interpretable insight about the underlying dynamics while also increasing data-efficiency.

연구 동기 및 목표

• 환경 상호작용이 비용이 많이 들거나 위험한 경우에 데이터 효율성을 높이기 위한 배치 강화학습 문제 해결.
• 모델 기반 강화학습에서 표준 가우시안 프로세스 모델의 한계를 극복하기 위해 전문가가 제공한 구조적 사전 지식 통합.
• 이중성 전이와 실패 사건과 같은 복잡한 확률적 동역학을 인간이 이해할 수 있는 방식으로 모델링 가능하게 하기.
• 확률적 정책 탐색을 지원하면서도 모델의 해석 가능성 유지가 가능한 효율적인 추론 기법 개발.
• 이질적이고 이중성 동역학을 가지는 어려운 벤치마크에서 더 높은 샘플 효율성과 해석 가능성 입증.

제안 방법

• 전이 동역학을 세 가지 구성요소로 구조화된 분해를 통해 모델링: 결정론적 유동(f), 이질적 분산 노이즈(σ), 추락 사건 확률(λ), 각각 독립적인 가우시안 프로세스로 모델링.
• 전문 지식을 통합하기 위해 동역학에 사전 구조를 부여하여 강의 유량, 난류, 폭포 추락 위험을 명시적으로 모델링.
• 후행 분포를 근사하기 위해 인자화된 변분 추론 기법을 사용하여 동역학 및 정책 파라미터의 사후분포 추정을 가능하게 하며, 효율적인 샘플링과 기울기 추정 지원.
• 몬테카를로 롤아웃을 사용한 확률적 경사 하강법을 적용하여 정책을 최적화하며, 변분 사후분포를 통해 동역학 모델을 통해 전파된 샘플 사용.
• 예상 수익의 정책 파라미터에 대한 기울기를 계산하기 위해 자동 미분 도구(예: Tensor Flow) 활용.
• 스pars한 GP 근사와 유도점(u)을 통해 확률적 추론의 효율성과 확장성을 높이고, 몬테카를로 롤아웃의 병렬 처리 지원.

실험 결과

연구 질문

• RQ1 베이지안 동역학 모델에 전문가가 제공한 구조적 사전 지식를 통합하면, 배치 강화학습에서 데이터 효율성이 향상되는가?
• RQ2 해석 가능한 구성요소(유동, 노이즈, 추락 사건)를 통합함으로써 모델의 투명성과 정책 학습이 어떻게 향상되는가?
• RQ3 복잡하고 이중성 동역학을 가지는 환경에서 제안된 방법이 NFQ와 같은 비해석 기반 모델보다 샘플 효율성에서 얼마나 뛰어나게 되는가?
• RQ4 구조화된 동역학 모델에 대한 변분 추론이 최소한의 환경 상호작용으로 신뢰할 수 있는 정책 최적화를 지원할 수 있는가?
• RQ5 물리적으로 의미 있는 구성요소로 동역학을 분해함으로써 더 강건하고 일반화 능력이 뛰어난 정책을 도출할 수 있는가?

주요 결과

• 제안된 방법은 Wet-Chicken 벤치마크에서 NFQ보다 유의미하게 높은 데이터 효율성을 확보하여 효과적인 정책을 학습하기 위해 필요한 전이 수가 적다.
• 모델은 해석 가능한 동역학 구성요소를 생성한다: 유동, 노이즈, 추락 사건 확률로, 이는 강 시스템에 대한 전문 지식과 일치한다.
• f, σ, λ 구성요소로의 분해를 통해 시스템 행동을 명확히 해석할 수 있으며, 예를 들어 강 가장자리 부근에서는 높은 난류, 폭포 부근에서는 높은 유량을 설명할 수 있다.
• 구조화된 동역학 모델에 대한 변분 추론은 각 최적화 단계에서 몬테카를로 롤아웃 수를 소수로 유지하면서도 효율적인 정책 학습이 가능하게 한다.
• 이 방법은 환경의 이중성 특성을 성공적으로 포착하였으며, 폭포 부근에서의 고확률 추락 사건과 강 내에서의 확률적 이동을 모두 반영한다.
• 정책 최적화 과정은 안정적이고 확장 가능하며, 변분 사후분포를 기반으로 자동 미분를 통해 기울기를 효율적으로 계산한다.