[論文レビュー] Retrieval-Augmented Reinforcement Learning

A. Goyal, Abram L. Friesen+14 more|arXiv (Cornell University)|Feb 17, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文では、過去の経験データセットに動的にアクセスして意思決定を支援する神経的検索プロセスを統合することで、強化学習（RL）エージェントの性能を向上させる、Retrieval-Augmented Reinforcement Learning（R2A）を提案する。推論中に関連する軌道を検索することで、R2AはオフラインおよびオンラインRL設定において、標準のDQNおよびR2D2エージェントよりも高速な学習と優れた性能を達成する。Atari、GridWorld、BabyAIベンチマークで優れた結果を示した。

ABSTRACT

Most deep reinforcement learning (RL) algorithms distill experience into parametric behavior policies or value functions via gradient updates. While effective, this approach has several disadvantages: (1) it is computationally expensive, (2) it can take many updates to integrate experiences into the parametric model, (3) experiences that are not fully integrated do not appropriately influence the agent's behavior, and (4) behavior is limited by the capacity of the model. In this paper we explore an alternative paradigm in which we train a network to map a dataset of past experiences to optimal behavior. Specifically, we augment an RL agent with a retrieval process (parameterized as a neural network) that has direct access to a dataset of experiences. This dataset can come from the agent's past experiences, expert demonstrations, or any other relevant source. The retrieval process is trained to retrieve information from the dataset that may be useful in the current context, to help the agent achieve its goal faster and more efficiently. he proposed method facilitates learning agents that at test-time can condition their behavior on the entire dataset and not only the current state, or current trajectory. We integrate our method into two different RL agents: an offline DQN agent and an online R2D2 agent. In offline multi-task problems, we show that the retrieval-augmented DQN agent avoids task interference and learns faster than the baseline DQN agent. On Atari, we show that retrieval-augmented R2D2 learns significantly faster than the baseline R2D2 agent and achieves higher scores. We run extensive ablations to measure the contributions of the components of our proposed method.

研究の動機と目的

• 過去の経験がパrametricモデルに要約されることで詳細な情報が失われる、標準的な深層RLの限界を克服する。
• 標準RLにおける新規経験の統合遅延および完全な歴史的データに条件づけた行動ができないという問題を解決する。
• 現在の状態や学習済みポリシーだけでなく、過去の経験の全データセットに条件づけた意思決定を可能にする。
• マルチタスクおよびオフラインRL設定におけるサンプル効率の向上とタスク干渉の低減を実現する。
• エージェントと検索プロセスの両方に別々の内部状態を維持する、検索を補強するフレームワークを構築する。

提案手法

• 標準のRLエージェントに、過去の軌道データセットにアクセスする微分可能な神経的検索プロセスを統合する。
• 複数のアテンションベースのスロットを備えた再帰的検索ネットワークを用いて、バッチ形式でエンコードされた軌道から関連情報を検索する。
• エージェントと同一のエンコーダーを用いて原始的な軌道をエンコードし、前向きおよび後向きの要約関数を用いて要約する。
• 現在のタスクの文脈に適した検索の関連性を向上させるために、勾配更新を用いて検索プロセスをエンドツーエンドで訓練する。
• 文脈に応じた更新機構を通じて、検索された情報をエージェントのポリシーまたは価値関数に統合する。
• 共有のハイパーパrameterを用いて、オフラインDQNおよびオンラインR2D2エージェントの両方へ適用する。

実験結果

リサーチクエスチョン

• RQ1 完全な歴史的経験にアクセスできる検索補強型RLエージェントは、パrametricな標準RLエージェントよりも高速かつ効率的に学習できるか？
• RQ2 過去の軌道の検索は、特にタスク干渉を低減する観点から、マルチタスクオフラインRLにおける性能にどのように影響するか？
• RQ3 部分的に観察可能な環境（例：BabyAI）において、検索プロセスはサンプル効率および一般化性能をどの程度向上させるか？
• RQ4 学習速度および最終的な性能の観点から、検索メカニズムはベースとなるRLアルゴリズムに比べてどの程度寄与しているか？
• RQ5 検索された軌道は現在のタスクとどのように関連しているか？エージェントは類似したタスクか、組み合わせ的タスクから優先的に検索を行うか？

主な発見

• Atari環境では、検索補強型R2D2エージェントがベースラインのR2D2エージェントよりも顕著に高いスコアを達成し、より速く学習した。
• オフラインマルチタスク型GridRoboManでは、RA-DQNが標準DQNを上回り、30のタスクにおいてタスク干渉を回避し、より速く学習した。
• BabyAIでは、組み合わせ的タスクの際、エージェントが他のタスクから情報を検索する確率が54%に達したのに対し、単一行動タスクでは21%にとどまり、適応的検索行動が示された。
• アブレーションスタディの結果、検索メカニズムおよび検索バッチの構築方法の両方が、性能向上に不可欠であることが確認された。
• 限られた経験リプレイ環境下でも、検索補強型エージェントは高い性能を維持しており、サンプル効率の向上が示された。
• 本手法により、エージェントが現在の状態やポリシーのパラメータだけでなく、過去経験の全データセットに条件づけた行動を取ることが成功裏に実現された。