[論文レビュー] Collect & Infer -- a fresh look at data-efficient Reinforcement Learning

Martin Riedmiller, Jost Tobias Springenberg+2 more|arXiv (Cornell University)|Aug 23, 2021

Reinforcement Learning in Robotics参考文献 3被引用数 4

ひとこと要約

本論文は、強化学習を2つの明確なプロセスに分離する概念的枠組みである「収集して推論する」（C&I）パラダイムを導入する。これは、データ収集（行動）と知識の推論（蓄積された経験からの学習）を分離するものである。これらのプロセスを分離し、特にオフラインでバッチ処理で行う推論と、的を射ねたデータ収集を最適化することで、ロボット工学などのデータが乏しい分野において、より高いデータ効率を実現する。

ABSTRACT

This position paper proposes a fresh look at Reinforcement Learning (RL) from the perspective of data-efficiency. Data-efficient RL has gone through three major stages: pure on-line RL where every data-point is considered only once, RL with a replay buffer where additional learning is done on a portion of the experience, and finally transition memory based RL, where, conceptually, all transitions are stored and re-used in every update step. While inferring knowledge from all explicitly stored experience has lead to a tremendous gain in data-efficiency, the question of how this data is collected has been vastly understudied. We argue that data-efficiency can only be achieved through careful consideration of both aspects. We propose to make this insight explicit via a paradigm that we call 'Collect and Infer', which explicitly models RL as two separate but interconnected processes, concerned with data collection and knowledge inference respectively. We discuss implications of the paradigm, how its ideas are reflected in the literature, and how it can guide future research into data efficient RL.

研究の動機と目的

• 知識の推論は長年にわたり重点的に研究されてきたが、データ収集はあまり検討されていないという、強化学習研究における長年の不均衡を是正すること。
• 従来のオンポリシー型およびリプレイバッファベースの強化学習の限界を克服するため、データ収集を第一級の最適化問題として明示的にモデル化すること。
• オンライン相互作用から学習プロセスを分離することで、固定された、多様なデータセットからのより効果的かつ効率的な学習を可能にすること。
• 時間の経過とともに収集された大規模で多様で、非i.i.d.なデータセットから学習できる次世代の強化学習エージェントを設計するための概念的基盤を提供すること。
• 今後の研究を、最終的な方策最適化の目的とは独立して、探索およびデータ収集戦略の最適化に向けて導くこと。

提案手法

• 2段階のフレームワークを提案：(1) エージェントが環境と相互作用し、遷移をメモリに保存するデータ収集、(2) 保存済みの全データセットを用いたオフライン推論。
• 推論プロセスをバッチ学習の目的関数として形式化し、固定されたデータセット Dc と標準的な強化学習または模倣学習の目的関数を用いて、方策または価値関数を学習する。
• 推論目的 LI を、データセット Dc とモデルパラメータの関数として定義し、例えばQラーニングではベルマン誤差の最小化、アクタ・クリティックでは期待報酬の最大化を目的とする。
• 最終方策のパフォーマンスを最大化するために、ターゲット方策 πθ とは別個のポリシー πc を用いて、データ収集を独立して最適化する。
• 行動クラーニング、オフポリシーQラーニング、アクタ・クリティック法などの手法をC&Iフレームワークの具体例として用い、これらが分離された収集と推論の観点からどのように再解釈できるかを示す。
• 定期的に収集済みの全データを用いてモデルを再推定する、またはエージェントの現在の知識状態に適応するメタ学習型探索戦略などの、新たなアルゴリズム的設計を提案する。

実験結果

リサーチクエスチョン

• RQ1 強化学習におけるデータ効率を最大化するために、方策学習とは独立してデータ収集を最適化する方法は何か？
• RQ2 固定データセット上でオフラインでバッチ処理で推論する手法と、オンラインで段階的に学習する手法とを比較した場合、データが乏しい環境でどの程度のパフォーマンス向上が得られるか？
• RQ3 適切に設計された推論プロセスを用いれば、同じデータセットを複数の方策や目的に対して同時に学習に用いることは可能か？
• RQ4 特に現在の最適方策とは異なるデータ収集戦略が、後続の推論品質にどのような影響を与えるか？
• RQ5 C&Iパラダイム下で、メタ学習型または文脈に応じた探索戦略は、データ収集の効率を向上させるために果たす役割は何か？

主な発見

• C&Iパラダイムにより、データ収集と知識の推論の間で明確な概念的分離が可能となり、両プロセスを独立して最適化できる。
• 固定データセット上でオフライン推論を行うことで、例えばオフポリシーQラーニングやアクタ・クリティック法のように、的を射ねたデータ収集と組み合わせることで高いデータ効率が達成できる。
• 教師方策をデータ収集戦略として用いた行動クラーニングは、模倣学習において最良のパフォーマンスを示し、データ収集が強化学習問題そのものを解くことに等しいことを示している。
• このパラダイムは、多様で非i.i.d.なデータセットの利用を可能とし、一度のデータセットから複数の目的の学習を実現できるため、柔軟性と再利用性を高める。
• 段階的更新の代わりに、収集済みの全データを用いて定期的にモデルを再推定することで、特にデータ効率の高い設定において、学習の安定性とパフォーマンスが向上することがある。
• このフレームワークは、探索戦略が即時のタスクパフォーマンスを最大化することを目的とすべきではなく、将来の推論に役立つ情報量の多いデータを収集することを最適化すべきであると示唆している。