[논문 리뷰] Uncertainty-sensitive Learning and Planning with Ensembles

Piotr Miłoś, Łukasz Kuciński외 3명|arXiv (Cornell University)|2019. 12. 19.

AI-based Problem Solving and Planning인용 수 2

한 줄 요약

이 논문은 가치 함수 앙상블과 몬테카를로 트리 탐색(MCTS) 계획을 통합한 강화학습 프레임워크를 제안하여 희박 보상, 높은 난이도의 환경에서의 탐색을 향상시킨다. 앙상블 분산을 통해 불확실성을 모델링하고, 위험 감수성 기능을 적용함으로써 계획의 효율성과 가치 함수 학습을 모두 향상시키며, Deep-sea, Toy Montezuma’s Revenge, Sokoban 벤치마크에서 더 빠른 수렴과 향상된 성능을 달성한다.

ABSTRACT

We propose a reinforcement learning framework for discrete environments in which an agent makes both strategic and tactical decisions. The former manifests itself through the use of value function, while the latter is powered by a tree search planner. These tools complement each other. The planning module performs a local extit{what-if} analysis, which allows to avoid tactical pitfalls and boost backups of the value function. The value function, being global in nature, compensates for inherent locality of the planner. In order to further solidify this synergy, we introduce an exploration mechanism with two distinctive components: uncertainty modelling and risk measurement. To model the uncertainty we use value function ensembles, and to reflect risk we use propose several functionals that summarize the implied by the ensemble. We show that our method performs well on hard exploration environments: Deep-sea, toy Montezuma's Revenge, and Sokoban. In all the cases, we obtain speed-up in learning and boost in performance.

연구 동기 및 목표

• Sokoban과 Deep-sea와 같은 희박 보상, 고복잡도 환경에서의 샘플 효율성과 탐색 문제를 해결하기 위해.
• 트리 탐색에 불확실성 인식 가치 함수 앙상블을 통합하여 계획의 견고성을 향상시키기 위해.
• 앙상블 기반 불확실성 모델링과 후행 레이블링을 통해 가치 함수 학습을 향상시키기 위해.
• 계획이 탐색을 이끄는 동시에 가치 함수가 계획기의 한계를 보완하도록 상호보완적인 프레임워크를 개발하기 위해.

제안 방법

• 지식적 불확실성을 모델링하기 위해 가치 네트워크의 앙상블을 사용하며, 예측은 학습 가능한 헤드 네트워크를 통해 집계한다.
• MCTS에서 탐색을 이끄는 데 앙상블 분산의 기능을 활용한 위험 측도를 적용하여 높은 불확실성 상태를 선호한다.
• MCTS를 가치 함수 롤아웃과 통합하며, 계획기의 탐색 이력을 가치 함수 학습의 타겟으로 활용한다.
• 가치 함수 학습 중 샘플 효율성을 향상시키기 위해 우선순위 기반 경험 재현과 후행 레이블링을 사용한다.
• 고정된 궤적에서 가치 함수를 학습하며, 실패한 에피소드에서 추가적인 양성 예제를 생성하기 위해 레이블링을 수행한다.
• 학습된 환경 모델을 기반으로 작동하는 계획기를 사용하는 하이브리드 모델리스 및 모델기반 접근 방식을 채택한다.

실험 결과

연구 질문

• RQ1 앙상블 기반 불확실성 모델링이 희박 보상 환경에서 탐색을 향상시킬 수 있는가?
• RQ2 가치 함수 앙상블에 기반한 위험 감수성 계획은 학습 속도와 성능에 어떤 영향을 미치는가?
• RQ3 계획기가 생성한 궤적을 통합함으로써 가치 함수 학습이 얼마나 향상되는가?
• RQ4 모델리스 가치 학습과 모델기반 계획을 결합하면, 딱딱한 탐색 과제에서 단독으로 사용할 경우보다 더 나은 성능을 내는가?
• RQ5 앙상블을 통한 불확실성 정량화가 Sokoban과 같이 조합적으로 복잡한 환경에서 더 효과적인 탐색을 가능하게 하는가?

주요 결과

• 이 방법은 Deep-sea, Toy Montezuma’s Revenge, Sokoban 환경에서 학습 속도가 크게 향상되고 성능 향상이 이루어졌다.
• Sokoban 전이 학습에서 앙상블 크기를 2개에서 3개로 늘일 경우 성능이 약 10–12% 향상되었다.
• 앙상블 기반 불확실성과 위험 측도의 사용으로 더 효과적인 탐색이 가능해져 랜덤 검색에 대한 의존도가 감소했다.
• 가치 함수 앙상블은 단일 네트워크보다 성능이 뛰어나며, 앙상블 크가 클수록 성능이 향상되었다.
• 계획기의 탐색 이력을 가치 함수 학습에 통합함으로써 학습 효율성과 샘플 활용도가 향상되었다.
• 더 큰 신경망 아키텍처(5층 CNN)는 더 작은 것(4층)보다 더 우수한 일반화 성능을 보였으며, 이는 복잡한 과제에서 용량이 일반화에 중요하다는 것을 시사한다.