[論文レビュー] Scalable Online Planning via Reinforcement Learning Fine-Tuning

Arnaud Fickinger, Hengyuan Hu+3 more|arXiv (Cornell University)|Sep 30, 2021

Reinforcement Learning in Robotics参考文献 34被引用数 5

ひとこと要約

本論文では、推論時に事前学習済み方策ネットワークの強化学習ファインチューニングによって従来の表形式探索を置き換えるスケーラブルなオンライン計画法を提案する。モデルベースのロールアウトとエンドツーエンドの強化学習ファインチューニングを活用することで、ハナビのような部分的に観測可能な確率的環境において最先端の性能を達成し、Ms. Pacmanではモンテカルロ木探索を上回り、表形式手法に比べて優れたスケーラビリティと一般化性能を示した。

ABSTRACT

Lookahead search has been a critical component of recent AI successes, such as in the games of chess, go, and poker. However, the search methods used in these games, and in many other settings, are tabular. Tabular search methods do not scale well with the size of the search space, and this problem is exacerbated by stochasticity and partial observability. In this work we replace tabular search with online model-based fine-tuning of a policy neural network via reinforcement learning, and show that this approach outperforms state-of-the-art search algorithms in benchmark settings. In particular, we use our search algorithm to achieve a new state-of-the-art result in self-play Hanabi, and show the generality of our algorithm by also showing that it outperforms tabular search in the Atari game Ms. Pacman.

研究の動機と目的

• ハナビのような大規模で確率的かつ部分的に観測可能な環境における表形式探索のスケーラビリティ制限を解消すること。
• ニューラルネットワークによる関数近似を用いて、類似状態間で一般化可能な非表形式計画法を開発すること。
• 推論時に事前学習済み方策ネットワークを強化学習でファインチューニングすることにより、推論時計画性能を向上させること。
• 離散的行動を伴う部分観測性と確率性を有する多様な環境において、本手法の汎用性と有効性を示すこと。
• エンドツーエンドの強化学習ファインチューニングが、MCTSのような従来の木探索アルゴリズムを凌駆できることを示すこと。

提案手法

• 推論時に事前学習済み方策ニューラルネットワークのオンラインでモデルベースのファインチューニングに表形式探索を置き換える。
• 有限ホライズンのモデルベースロールアウトを用いて、方策ファインチューニングのための軌道を生成する。
• ロールアウトから得た学習済み価値関数を用いて、方策ネットワークに対する強化学習更新を実行する。
• 単一エージェントおよびマルチエージェント設定の両方で本手法を適用し、行動-観測履歴に基づく信念状態の更新を実施する。
• マルチエージェント状況における相互信念状態を考慮した共同方策更新ルールを適用し、協調的探索を可能にする。
• 反復的木探索やヒューリスティックなプルーニングに依存せず、エンドツーエンドの強化学習ファインチューニングによる計画のアモアタイズを実現する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み方策ネットワークの強化学習ファインチューニングは、部分的に観測可能で確率的な環境において表形式探索を上回ることができるか？
• RQ2 オンラインRLベース計画は、高次元状態空間においてモンテカルロ木探索よりもより効果的にスケーリングできるか？
• RQ3 ハナビのような複雑なドメインでは、表形式探索が非実行可能であるため、非表形式計画が類似状態間で一般化できるか？
• RQ4 本手法は、エキスパートイテレーションやQ値アモアタイズーションといった、RLと表形式探索を組み合わせた既存手法と比較してどう異なるか？
• RQ5 本手法は、表形式探索に依存せずに、ハナビやMs. Pacmanのようなベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法は、自己対戦ハナビにおいて、表形式探索に依存する従来手法を上回る、新たな最先端の結果を達成した。
• 本手法は複数手先の探索を成功裏に実行し、共同方策の逸脱を発見できたが、これは従来の表形式探索では状態空間の指数的増加のため非現実的である。
• アーケードゲームのMs. Pacmanでは、決定論的および確率的バージョンの両方でモンテカルロ木探索を上回り、広範な適用可能性を示した。
• 確率的および部分観測可能な環境において、本手法は効果的にスケーリングでき、表形式探索が状態空間の爆発により失敗する分野でも有効であった。
• RLによるファインチューニングにより、類似状態間での一般化が向上し、個々の状態ごとの計算の必要性が低減され、推論効率が向上した。
• 本手法は、エンドツーエンドの強化学習ファインチューニングが木探索を凌駆できることを示したが、同時にスケーラビリティを維持しており、学習と探索を効果的に統合できるという考えを支持した。