[논문 리뷰] Scalable Online Planning via Reinforcement Learning Fine-Tuning

Arnaud Fickinger, Hengyuan Hu외 3명|arXiv (Cornell University)|2021. 09. 30.

Reinforcement Learning in Robotics참고 문헌 34인용 수 5

한 줄 요약

이 논문은 추론 시 기존의 표 형태 탐색 대신 사전에 훈련된 정책 네트워크를 강화 학습을 통해 미세조정하는 확장 가능한 온라인 계획 방법을 제안한다. 모델 기반의 롤아웃과 엔드 투 엔드 강화 학습 미세조정을 활용하여, Hanabi와 같이 부분관측 가능하고 확률적인 환경에서 최신 기술 수준의 성능을 달성하고, Ms. Pacman에서 몬테카를로 트리 탐색(MCTS)을 능가함으로써 표 형태 접근 방식에 비해 훨씬 뛰어난 확장성과 일반화 능력을 입증한다.

ABSTRACT

Lookahead search has been a critical component of recent AI successes, such as in the games of chess, go, and poker. However, the search methods used in these games, and in many other settings, are tabular. Tabular search methods do not scale well with the size of the search space, and this problem is exacerbated by stochasticity and partial observability. In this work we replace tabular search with online model-based fine-tuning of a policy neural network via reinforcement learning, and show that this approach outperforms state-of-the-art search algorithms in benchmark settings. In particular, we use our search algorithm to achieve a new state-of-the-art result in self-play Hanabi, and show the generality of our algorithm by also showing that it outperforms tabular search in the Atari game Ms. Pacman.

연구 동기 및 목표

• Hanabi와 같이 크고 확률적이며 부분관측 가능한 환경에서 표 형태 탐색의 확장성 한계를 해결하기 위해.
• 신경망을 통한 함수 근사 기반으로 유사한 상태 간에 일반화 가능한 비표 형태 계획 방법을 개발하기 위해.
• 강화 학습을 활용해 사전에 훈련된 정책 네트워크를 추론 시 미세조정하여 추론 시 계획 성능을 향상시키기 위해.
• 이산 행동을 가지며 부분관측 가능하고 확률적인 환경을 포함한 다양한 환경에서 방법의 일반성과 효능을 입증하기 위해.
• 엔드 투 엔드 강화 학습 미세조정이 복잡한 벤치마크에서 기존의 트리 탐색 알고리즘(예: MCTS)을 초월할 수 있음을 보여주기 위해.

제안 방법

• 추론 시 기존의 표 형태 탐색을 대체하여, 사전에 훈련된 정책 신경망을 온라인으로 모델 기반으로 미세조정하는 방식을 사용한다.
• 유한 수평의 모델 기반 롤아웃을 통해 정책 미세조정을 위한 궤적을 생성한다.
• 롤아웃에서 얻은 학습된 가치 함수를 사용해 정책 네트워크에 강화 학습 업데이트를 수행한다.
• 단일 에이전트 및 다중 에이전트 설정 모두에 적용하며, 행동-관측 이력 기반의 믿음 상태 업데이트를 수행한다.
• 다중 에이전트 상황에서 상호 믿음 상태를 고려한 공동 정책 업데이트 규칙을 적용하여 협동 탐색을 가능하게 한다.
• 반복적인 트리 탐색이나 히우리스틱 기반의 가지치기 의존을 피하고, 엔드 투 엔드 강화 학습 미세조정을 통해 계획을 압축한다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 정책 네트워크의 강화 학습 미세조정이 부분관측 가능하고 확률적인 환경에서 표 형태 탐색을 능가할 수 있는가?
• RQ2 고차원 상태 공간에서 온라인 강화 학습 기반 계획이 몬테카를로 트리 탐색보다 더 효과적으로 확장 가능한가?
• RQ3 표 형태 탐색이 비현실적인 Hanabi와 같은 복잡한 도메인에서 비표 형태 계획이 유사한 상태 간에 일반화할 수 있는가?
• RQ4 기존의 강화 학습과 표 형태 탐색을 융합한 방법들(예: 전문가 반복 또는 Q-값 압축)과 비교해 강화 학습 기반 미세조정은 어떻게 다른가?
• RQ5 이 방법이 표 형태 탐색에 의존하지 않고도 Hanabi나 Ms. Pacman와 같은 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 자가 대결 기반 Hanabi에서 이전의 표 형태 탐색에 의존하는 방법들을 능가하는 새로운 최신 기술 수준의 성능를 달성했다.
• 이 방법은 다중 단계의 수를 탐색하고 공동 정책의 이탈을 발견할 수 있었으며, 이는 상태 공간의 지수적 증가로 인해 기존의 표 형태 탐색으로는 불가능한 일이다.
• 아케이드 게임인 Ms. Pacman에서, 결정론적 및 확률적 버전 모두에서 몬테카를로 트리 탐색을 능가하여 광범위한 적용 가능성을 입증했다.
• 확률성과 부분관측 가능성이 있는 환경에서 표 형태 탐색이 상태 공간 폭발로 인해 실패하는 상황에서도 이 방법은 효과적으로 확장 가능했다.
• 강화 학습을 통한 미세조정은 유사한 상태 간의 일반화 능력을 향상시켜 각 상태별 계산의 필요성을 줄이고 추론 효율성을 향상시켰다.
• 이 방법은 엔드 투 엔드 강화 학습 미세조정이 성능 면에서 트리 탐색을 능가할 수 있음을 보여주며, 학습과 탐색을 효과적으로 통합할 수 있음을 뒷받침한다.