[論文レビュー] RLgraph: Flexible Computation Graphs for Deep Reinforcement Learning.

Michael Schaarschmidt, Sven Mika+2 more|arXiv (Cornell University)|Oct 21, 2018

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

RLgraph は、深層強化学習における論理的コンポonentの構成、バックエンドでのグラフ定義、分散実行を分離する柔軟なライブラリです。複数のディープラーニングフレームワークと分散バックエンドをサポートする一方で、静的および定義時実行（define-by-run）の両方の計算グラフを提供することで、パフォーマンスが高く安定したRL実装を実現し、移植性とスケーラビリティを向上させます。

ABSTRACT

Reinforcement learning (RL) tasks are challenging to implement, execute and test due to algorithmic instability, hyper-parameter sensitivity, and heterogeneous distributed communication patterns. We argue for the separation of logical component composition, backend graph definition, and distributed execution. To this end, we introduce RLgraph, a library for designing and executing high performance RL computation graphs in both static graph and define-by-run paradigms. The resulting implementations yield high performance across different deep learning frameworks and distributed backends.

研究の動機と目的

• 深層強化学習における不安定性、ハイパーパramータへの感受性、複雑な通信パターンの課題に対処すること。
• 論理的コンポonentの構成をバックエンド実行およびグラフ定義から分離し、モジュラリティを高めること。
• 統一されたフレームワーク内で静的および動的（define-by-run）の両方の計算グラフをサポートすること。
• さまざまなディープラーニングフレームワークおよび分散バックエンドにおける効率的な実行を可能にすること。
• RL研究における再現性、パフォーマンス、および実験のしやすさを向上させること。

提案手法

• コンポonentの構成、グラフ定義、分散実行を分離するモジュラーなアーキテクチャを導入すること。
• 最適化を目的とした静的計算グラフと、柔軟性とデバッグのしやすさを目的とした define-by-run（定義時実行）の両方をサポートすること。
• 複数のディープラーニングフレームワーク（例：PyTorch、TensorFlow）を抽象化する統一APIを提供すること。
• スケーラブルな学習を実現するため、さまざまな分散バックエンド（例：Ray、Horovod）とのシームレスな統合を可能にすること。
• グラフレベルの最適化と自動微分を用いて、パラダイムを問わずパフォーマンスを維持すること。
• 分散RLにおける通信パターンを抽象化し、異種かつ動的なワークロードに対応すること。

実験結果

リサーチクエスチョン

• RQ1 RLシステムにおいて、コンポonentの構成、グラフ定義、分散実行をどのように分離できるか？
• RQ2 パフォーマンスを損なわずに、統一されたフレームワークで静的および動的計算グラフを両方サポートできるか？
• RQ3 RLgraph は、ハイパーパramータに感受性の高いRLタスクにおいて、安定性と再現性をどのように向上させるか？
• RQ4 RLgraph は、多様なディープラーニングフレームワークおよび分散バックエンドにおいて、どの程度高いパフォーマンスを達成できるか？
• RQ5 RLgraph における責任分担の分離は、開発生産性およびシステムの保守性にどのように影響するか？

主な発見

• RLgraph は、複数のディープラーニングフレームワークで最小限のコード変更で高パフォーマンスなRL学習を可能にします。
• 責任分担の分離により、RL実験におけるモジュラリティ、保守性、再現性が向上します。
• 静的および define-by-run パラダイムの両方をサポートすることで、開発者は必要に応じてパフォーマンスと柔軟性を切り替えることができます。
• 異種の通信パターンを抽象化することで、RLgraph は効率的な分散実行を実現します。
• このライブラリは実装の複雑さを低減し、ディープ強化学習におけるプロトタイピングを加速します。