[論文レビュー] ChainerRL: A Deep Reinforcement Learning Library

Yasuhiro Fujita, Prabhat Nagarajan+2 more|arXiv (Cornell University)|Dec 9, 2019

Reinforcement Learning in Robotics参考文献 38被引用数 53

ひとこと要約

ChainerRL は Chainer 上に構築されたオープンソースの DRL ライブラリを提供し、多くのアルゴリズム、再現性スクリプト、エージェントを検査するためのビジュアライザーを提供します。

ABSTRACT

In this paper, we introduce ChainerRL, an open-source deep reinforcement learning (DRL) library built using Python and the Chainer deep learning framework. ChainerRL implements a comprehensive set of DRL algorithms and techniques drawn from state-of-the-art research in the field. To foster reproducible research, and for instructional purposes, ChainerRL provides scripts that closely replicate the original papers' experimental settings and reproduce published benchmark results for several algorithms. Lastly, ChainerRL offers a visualization tool that enables the qualitative inspection of trained agents. The ChainerRL source code can be found on GitHub: https://github.com/chainer/chainerrl.

研究の動機と目的

• Chainer を用いた Python で実装された包括的なアルゴリズム群を通じて、再現性があり教育的な DRL 研究を促進する。
• 新しい DRL アルゴリズムの開発を容易にする柔軟な Agent インターフェースを提供する。
• 元論文を mirror し、ベンチマーク結果を再現する再現性スクリプトを提供する。
• 訓練済みエージェントとその注意機構を定性的に検査するための可視化ツールを含む。
• 実験を加速するために並列および非同期学習を奨励する。

提案手法

• 意思決定と更新のための内部モデル構成要素を公開し、act_and_train を規定する Agent インターフェースを定義する。
• DQN、分布型およびポリシー勾配/アクター-クリティック法などを含む、幅広い組み込みエージェントを実装する。
• 環境との相互作用、訓練スケジュール、評価、並列化を管理する experiments モジュールを提供する。
• 再利用可能なビルディングブロック（explorers、replay buffers、ニューラルネットワークアーキテクチャ、distribution objects）を提供し、複雑なエージェント（例: Rainbow）の迅速な構成を可能にする。
• ChainerRL Visualizer を含み、ブラウザベースの UI を介してエージェントを検査し、顕著性、行動確率、Q値を視覚化する。

実験結果

リサーチクエスチョン

• RQ1 多様な環境とアルゴリズムにまたがって、DRL ライブラリが主要な元論文の結果をどれだけ再現できるか？
• RQ2 柔軟な Agent インターフェースとモジュール化されたビルディングブロックは、DRL アルゴリズムの容易な構築と拡張を支援できるか？
• RQ3 Atari および MuJoCo タスク全体で、再現性スクリプトがベンチマークと公開結果の比較に与える影響はどの程度か？

主な発見

• ChainerRL は離散・連続アクションアルゴリズムの包括的なスイートと、リカレントおよびバッチ/トレーニング変種を提供します。
• 複数のアルゴリズムと環境向けの再現性スクリプトが利用可能で、事前学習済みモデルと文献とのスコア比較が詳細です。
• ライブラリには、注意機構、行動分布、Q値推定を検査するための視覚化ツール（ChainerRL Visualizer）が含まれています。
• 実証的な結果は、注意深く一致した評価プロトコルの下で、再現された Atari および MuJoCo の性能が公開ベンチマークと一致することを示しています。