[論文レビュー] Reverb: A Framework For Experience Replay

Albin Cassirer, Gabriel Barth-Maron+5 more|arXiv (Cornell University)|Feb 9, 2021

Reinforcement Learning in Robotics参考文献 18被引用数 6

ひとこと要約

Reverb は、数千人の同時アクターおよび学習者を処理できるスケーラブルで効率的かつ拡張性のある強化学習における経験再生のためのシステムです。柔軟な再生戦略（例：優先順位付き、FIFO、LIFO）をサポートし、最大60k件/秒の挿入または600k件/秒のサンプリングを達成する線形スループットスケーリングを実現しており、主にネットワーク帯域幅と挿入ワークロードにおけるミューテックス競合によって制限されています。

ABSTRACT

A central component of training in Reinforcement Learning (RL) is Experience: the data used for training. The mechanisms used to generate and consume this data have an important effect on the performance of RL algorithms. In this paper, we introduce Reverb: an efficient, extensible, and easy to use system designed specifically for experience replay in RL. Reverb is designed to work efficiently in distributed configurations with up to thousands of concurrent clients. The flexible API provides users with the tools to easily and accurately configure the replay buffer. It includes strategies for selecting and removing elements from the buffer, as well as options for controlling the ratio between sampled and inserted elements. This paper presents the core design of Reverb, gives examples of how it can be applied, and provides empirical results of Reverb's performance characteristics.

研究の動機と目的

• 分散強化学習システムにおける大規模な経験データの効率的かつ効果的な保存および送信の課題に対処すること。
• 単一の統合システム内で、優先順位付き経験再生、FIFO、LIFO などの多様な再生戦略をシームレスにサポートすること。
• 分散強化学習学習環境における数千人の同時クライアントを想定した、高スループットかつ低遅延のデータ挿入およびサンプリングをサポートすること。
• オフポリシーおよびオンポリシーのアルゴリズムにおける学習ダイナミクスのチューニングに不可欠な、サンプリングされたデータ要素と挿入されたデータ要素の比率に対する細かい制御を提供すること。
• データストレージおよびデータ送信をアルゴリズム論理から分離することで、研究者がインfra構成を変更せずに実験を拡張できるようにすること。

提案手法

• クライアントが生のテンソルデータを書き込み・読み取れるgRPCベースのAPIを公開し、低レベルのストレージに関する懸念を抽象化すること。
• データを「チャンク」に整理する—バッチ処理され、圧縮された経験遷移のシーケンス—ストレージおよび送信効率を向上させること。
• データを2次元テーブルとして表現し、行をデータ要素、列をフィールド（テンソル）として扱うことで、構造化されたアクセスと効率的な圧縮を可能にすること。
• 複数の再生戦略（例：均一サンプリング、優先順位付きサンプリング、FIFO、LIFO）を構成可能なポリシーによってサポートする柔軟なテーブル抽象化を実装すること。
• シャーディングと並列アクセスパターンを用いて、複数のマシンおよびクライアントにスケーリングし、高負荷下でもパフォーマンス劣化を最小限に抑えること。
• サンプリングパスにおけるミューテックス競合を低減することで低遅延サンプリングを最適化し、シャーディング構成下でQPS性能を最大200%向上させること。

実験結果

リサーチクエスチョン

• RQ1 分散強化学習学習において、数千人の同時アクターおよび学習者を効率的にスケーリングできる経験再生システムは、どのようにアーキテクチャ設計されるべきか？
• RQ2 アーキテクチャの変更なしに、1つのシステムが優先順位付き経験再生（PER）、FIFO、LIFO などの多様な再生戦略をどの程度サポートできるか？
• RQ3 高スループットの経験再生システムにおけるパフォーマンスボトルネックは何か、そしてそれらはどのように緩和できるか？
• RQ4 クライントの負荷が増加する条件下でも、システムが線形スケーリングを維持する方法は何か、そのスループットの上限要因は何か？
• RQ5 分散かつ並列環境下で、サンプリングされたデータと挿入されたデータの比率を効果的に制御できるか、そしてその制御が学習の安定性にどのように影響するか？

主な発見

• Reverb は、挿入およびサンプリングの両方で最大11 GB/s のスループットを達成しており、ネットワーク帯域幅が主なパフォーマンスボトルネックであることを示している。
• 挿入およびサンプリングワークロードは、200クライアントまでクライアント数に比例して線形にスケーリングされ、過負荷下でもパフォーマンス劣化がない。
• 最大挿入QPSはミューテックス競合によって制限されており、シャーディングによりこれを軽減することで、スループットが約200%向上した。
• サンプリングスループットは最大600k件/秒に達しており、挿入（60k件/秒）よりも顕著に高い。これは、ミューテックス競合を低減するための的確な最適化によるものである。
• 400Bから400kBまでの広範なデータペイロードサイズにおいて一貫したパフォーマンスを維持しており、耐障害性と適応性の高さを示している。
• Reverb は、同じ構成で数千人の同時アクターおよび学習者を用いた実験を可能にし、インfra構成の変更なしにシームレスなスケールアップを実現している。