[論文レビュー] Recomposing the Reinforcement Learning Building Blocks with Hypernetworks

Shai Keynan, Elad Sarafian+1 more|arXiv (Cornell University)|Jun 12, 2021

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文では、状態またはコンテキストをメタ変数として扱い、条件付きネットワークの重みを動的に変化させることで、強化学習（RL）の構築ブロック（Q関数および方策ネットワーク）を再構成するためのハイパーネットワークの使用を提案する。状態と行動の相互作用をより明示的にモデル化することで、アクタ・クリティック手法における勾配推定の精度が向上し、メタRLにおける学習ステップの分散が低減され、TD3、SAC、MAML、PEARLのロケモーションタスクにおいて、収束が速く、性能が優れるようになる。

ABSTRACT

The Reinforcement Learning (RL) building blocks, i.e. Q-functions and policy networks, usually take elements from the cartesian product of two domains as input. In particular, the input of the Q-function is both the state and the action, and in multi-task problems (Meta-RL) the policy can take a state and a context. Standard architectures tend to ignore these variables' underlying interpretations and simply concatenate their features into a single vector. In this work, we argue that this choice may lead to poor gradient estimation in actor-critic algorithms and high variance learning steps in Meta-RL algorithms. To consider the interaction between the input variables, we suggest using a Hypernetwork architecture where a primary network determines the weights of a conditional dynamic network. We show that this approach improves the gradient approximation and reduces the learning step variance, which both accelerates learning and improves the final performance. We demonstrate a consistent improvement across different locomotion tasks and different algorithms both in RL (TD3 and SAC) and in Meta-RL (MAML and PEARL).

研究の動機と目的

• 標準的な状態と行動の入力の連結による、アクタ・クリティックRLアルゴリズムにおける勾配推定の悪さを是正すること。
• 状態およびコンテキストに依存する勾配を分離することで、メタRLアルゴリズムにおける学習ステップの分散を低減すること。
• Q関数および方策ネットワークの固有の階層的構造をモデル化することで、表現能力を向上させること。
• ハイパーネットワークが標準MLPよりも、標準RLおよびメタRLベンチマークで優れた性能を示すことを実証すること。
• オラクルコンテキストを用いたハイパーネットワークでは、MAMLの適応ステップを排除でき、学習効率が向上することを示すこと。

提案手法

• 主ネットワークが状態またはコンテキストに基づいて、条件付きクライティックまたは方策ネットワークの重みを生成するハイパーネットワークアーキテクチャを用いる。
• Q関数はコンテキストバンドイットとしてモデル化され、状態がメタ変数として機能し、行動からQ値への写像をもつ動的ネットワークの重みを決定する。
• メタRLでは、方策ネットワークをハイパーネットワークとして構造化し、タスクコンテキストが方策の重みを調整することで、コンテキスト依存の行動価値推定を可能にする。
• 単純な連結を避けるために、状態と行動（またはコンテキストと状態）の間の相互作用を動的重み生成を通じて明示的にモデル化する。
• 本手法はTD3、SAC、MAML、PEARLに適用され、ハイパーネットワークと標準MLPおよびコンテキスト拡張モデルとの比較を含むアブレーションスタディが実施される。
• メタポリシーの最適化を直接行うことで、MAMLの適応ステップを不要にする、ハイパーメタMAMLのマルチタスク版を導入する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットワークを用いることで、状態と行動の相互作用をより効果的にモデル化することで、アクタ・クリティックRLアルゴリズムにおける勾配近似が改善されるか？
• RQ2 MAML や PEARL のようなメタRLアルゴリズムにおいて、ハイパーネットワークを用いることで、学習ステップの分散が低減されるか？
• RQ3 オラクルコンテキストを用いたハイパーネットワークでは、MAMLの適応ステップを排除でき、学習効率が向上するか？
• RQ4 複数のRL環境において、ハイパーネットワークベースのQ関数は、標準MLPと比較して最終的なパフォーマンスおよび学習速度で優れているか？
• RQ5 ハイパーネットワークは、マルチタスクRL設定において、一般化性能およびサンプル効率をどの程度向上させるか？

主な発見

• TD3およびSACにおけるハイパーネットワークベースのクライティックは、標準MLPを上回り、ハイパーベースSACはHalfCheetahで4844±254のリターンを達成したのに対し、標準SACは4638±441であった。
• MAMLでは、オラクルコンテキストを用いたハイパーメタMAMLがCheetah-Fwd-Backで558±49のテストタスクリターンを達成し、コンテキストMAML（315±93）を上回り、適応ステップの必要性を排除した。
• マルチタスクハイパーメタMAMLは、適応付きハイパーメタMAMLを上回り、Cheetah-Fwd-Backで539±102のリターンを達成し、適応ループを削除することで学習時間を短縮した。
• PEARLでは、ハイパーピアラルはAnt-Velで1828±203のリターンを達成し、標準PEARL（1636±210）を上回り、すべての環境で一貫した改善を示した。
• ハイパーネットワークアプローチは、状態依存勾配をマージナル化することで、メタRLにおける勾配分散を低減し、より安定的かつ効率的な学習を可能にした。
• 本手法は、さまざまな環境（HalfCheetah、Ant、Walker）およびアルゴリズム（TD3、SAC、MAML、PEARL）において一貫してパフォーマンスを向上させ、広範な適用可能性を示した。