[論文レビュー] Scalable Coordinated Exploration in Concurrent Reinforcement Learning

Maria Dimakopoulou, Ian Osband+1 more|arXiv (Cornell University)|May 1, 2018

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

本論文は、共有環境で同時に動作する強化学習エージェントチームのためのスケーラブルで調整された探索手法を提案する。シードサンプリングとランダム化価値関数学習を組み合わせることで、少ないエージェント数と高速な収束を実現する。特にニューラルネットワークを用いた高次元設定において有効である。

ABSTRACT

We consider a team of reinforcement learning agents that concurrently operate in a common environment, and we develop an approach to efficient coordinated exploration that is suitable for problems of practical scale. Our approach builds on the seed sampling concept introduced in Dimakopoulou and Van Roy (2018) and on a randomized value function learning algorithm from Osband et al. (2016). We demonstrate that, for simple tabular contexts, the approach is competitive with those previously proposed in Dimakopoulou and Van Roy (2018) and with a higher-dimensional problem and a neural network value function representation, the approach learns quickly with far fewer agents than alternative exploration schemes.

研究の動機と目的

• 大規模な並列マルチエージェント強化学習における効率的探索の課題に対処すること。
• 従来の手法と比較して、効果的な探索に必要なエージェント数を削減すること。
• ニューラルネットワークによる価値関数近似を用いて、高次元環境でも高速に学習を達成すること。

提案手法

• DimakopoulouとVan Roy (2018) が提唱したシードサンプリングを、複数エージェント間の探索を調整するために適応する。
• Osbandら (2016) が提唱したランダム化価値関数学習を取り入れ、確率的価値推定を通じて探索を促進する。
• エージェントが同時に行動する共有環境を活用し、ランダム化価値関数のサンプリングによって探索の多様性を活用する。
• ニューラルネットワークを用いて価値関数を表現することで、高次元の状態・行動空間へのスケーラビリティを実現する。
• ランダム化価値関数から導出される共通の探索信号を通じて、エージェントの行動を調整することで探索を協調的に制御する。

実験結果

リサーチクエスチョン

• RQ1 複数エージェントを用いた大規模で高次元な環境において、協調的探索を効果的にスケーリングできるか？
• RQ2 提案手法は、従来の手法と比較して、サンプル効率や必要なエージェント数の点でどのように異なるか？
• RQ3 シードサンプリングとランダム化価値関数の統合が、学習速度と性能にどの程度向上効果をもたらすか？

主な発見

• 単純な表形式の環境では、従来の手法と同等の性能を達成する。
• ニューラルネットワークによる価値関数近似を用いた高次元設定では、代替の探索方針よりも迅速に学習を達成する。
• ベースライン手法と比較して、効果的な探索と学習を達成するために必要なエージェント数が顕著に少ない。
• シードサンプリングとランダム化価値関数の統合により、並列マルチエージェント強化学習における安定的でスケーラブルな協調が可能になる。