[논문 리뷰] Learning and Planning in Complex Action Spaces

Thomas Hubert, Julian Schrittwieser외 4명|arXiv (Cornell University)|2021. 04. 13.

Reinforcement Learning in Robotics참고 문헌 41인용 수 10

한 줄 요약

이 논문은 전체 동작을 나열하는 대신 동작을 샘플링하는 방식으로, 복잡한 동작 공간—연속적이고 고차원적이거나 구조적인—에서 강화학습을 위한 일반적인 프레임워크인 Sampled MuZero를 제안한다. MuZero의 계획 루프에 샘플 기반 정책 평가 및 개선을 통합함으로써, 이는 이산적(Go) 및 연속적 제어 벤치마크(DiagMind Control Suite, Real-World RL Suite)에서 뛰어난 성능을 달성하며, K=5개의 동작 샘플조차도 이전 방법들을 능가한다.

ABSTRACT

Many important real-world problems have action spaces that are high-dimensional, continuous or both, making full enumeration of all possible actions infeasible. Instead, only small subsets of actions can be sampled for the purpose of policy evaluation and improvement. In this paper, we propose a general framework to reason in a principled way about policy evaluation and improvement over such sampled action subsets. This sample-based policy iteration framework can in principle be applied to any reinforcement learning algorithm based upon policy iteration. Concretely, we propose Sampled MuZero, an extension of the MuZero algorithm that is able to learn in domains with arbitrarily complex action spaces by planning over sampled actions. We demonstrate this approach on the classical board game of Go and on two continuous control benchmark domains: DeepMind Control Suite and Real-World RL Suite.

연구 동기 및 목표

• 전체 동작 나열이 불가능한 고차원적, 연속적, 또는 구조적인 동작 공간을 가진 환경에 모델 기반 강화학습을 적용하는 데 도전하는 것.
• 국소적 샘플링에도 불구하고 전역 정책 성능를 보장하기 위해, 샘플된 동작 부분집합에 대한 정책 평가 및 개선을 이론적으로 타당하게 다룰 수 있는 원칙적인 프레임워크를 개발하는 것.
• 샘플 기반 계획 메커니즘을 통해 MuZero 알고리즘을 고차원적 동작 공간에 확장하여 실제 제어 작업에 적용할 수 있도록 하는 것.
• 다양한 벤치마크, 특히 연속적 제어 및 부분관측 환경에서의 방법의 강건성과 확장성을 입증하는 것.

제안 방법

• 모든 동작를 나열하는 대신, 작은 샘플된 동작 부분집합을 사용하여 정책 평가 및 개선을 수행하는 샘플 기반 정책 반복 프레임워크를 제안한다.
• 학습 안정성과 샘플 효율성을 향상시키기 위해, 행동 정책 $π_{\beta}$ 를 통합한 수정된 PUCT 공식을 도입한다.
• 샘플 기반 프레임워크를 MuZero의 모델 기반 계획 루프에 통합하여, 전역 정책 최적화를 유지하면서도 샘플된 동작들에 대한 계획을 수행할 수 있도록 한다.
• 학습된 환경 모델을 사용하여 샘플된 동작들로부터 궤적을 전개함으로써, 추론 중 환경 상호작용 없이도 장거리 계획을 가능하게 한다.
• 공통 아키텍처를 사용하여 이산적(Go) 및 연속적(dmControl, RWRL) 제어 작업에 적용하며, 부분관측성을 위해 LSTM을 활용한다.
• 고차원적 동작 공간에서 샘플 효율성과 안정성을 향상시키기 위해 오프-폴리시 학습 및 분포 Q-함수 추정을 활용한다.

실험 결과

연구 질문

• RQ1 전체 나열 없이도 복잡한 동작 공간에 샘플 기반 정책 반복 프레임워크를 효과적으로 적용할 수 있는가?
• RQ2 모델 기반 계획에서 동작 샘플링이 정책 평가 및 개선에 어떤 영향을 미치며, 이는 이론적으로 타당하게 만들 수 있는가?
• RQ3 샘플링을 통해 MuZero 알고리즘이 연속적 및 고차원적 동작 공간을 처리할 수 있도록 확장될 수 있으며, 샘플 효율성과 성능를 유지할 수 있는가?
• RQ4 낮은 샘플 수(예: K=5)에 대해 이 방법의 강건성은 어떠하며, 다양한 환경 간에 일반화되는가?
• RQ5 PUCT 공식에 주 정책 $\pi$ 대신 $\hat{\pi}_{\beta}$ 를 사용할 경우, 안정성과 성능 향상이 이루어지는가?

주요 결과

• Sampled MuZero는 DeepMind Control Suite에서 SOTA 성능을 달성하여, D4PG 및 DMPO를 모두 초월했으며, 56차원의 하이퍼모드르를 포함한 모든 작업에서 환경 상호작용 횟수가 10배 이상 적게 소요되었다.
• 실세계 RL 벤치마크에서 Sampled MuZero는 모든 난이도 수준에서 DMPO, D4PG, STACX를 크게 능가했으며, 특히 고차원적 하이퍼모드르 작업에서 두드러진 성능을 보였다. 쉬운 버전에서 289.36, 중간 수준에서 108.56, 어려운 버전에서 1.19의 점수를 기록했다.
• K=5개의 샘플된 동작로도 강력한 성능를 유지하여, 높은 샘플 효율성과 복잡한 동작 공간으로의 확장성 잠재력을 입증했다.
• 안정성 분석 결과, PUCT 공식에 $\hat{\pi}_{\beta}$ 를 사용할 경우 $\pi$ 를 직접 사용하는 것보다 강건성과 재현 가능성이 크게 향상됨을 확인했다.
• Sampled MuZero는 원시 픽셀 입력만을 사용하여 21차원 하이퍼모드르 제어를 학습했으며, 동작 반복, 관측 재구성, 하이퍼파rameter 튜닝 없이도 높은 성능를 달성했다.
• 직접 비교 결과, Sampled MuZero는 D4PG나 DMPO를 능가하는 성능를 보였으며, 행동 반복이나 관측 재구성 기법을 사용하지 않았음에도 불구하고, DeepMind Control Suite의 모든 작업에서 Dreamer 에이전트와 동등하거나 이를 초월했다.