[論文レビュー] Hypernetworks in Meta-Reinforcement Learning

Jacob Beck, Matthew Thomas Jackson+2 more|arXiv (Cornell University)|Oct 20, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、メタ強化学習におけるハイパーネットの初期化を改善することで、タスク間で一般化可能なハイパーネットを可能にし、SOTA（最先端）の結果と同等またはそれを上回る性能を達成する、新しいハイパーネット初期化手法であるBias-HyperInitを提案する。この手法は、ナイーブな初期化法や従来の教師あり学習ベースの初期化法を上回り、VariBADおよびRL2に適用した場合、Pick-Placeタスクで成功確率が最大9倍に向上し、MuJoCo、Meta-World、グリッドワールドのベンチマークでも一貫した性能向上を示した。

ABSTRACT

Training a reinforcement learning (RL) agent on a real-world robotics task remains generally impractical due to sample inefficiency. Multi-task RL and meta-RL aim to improve sample efficiency by generalizing over a distribution of related tasks. However, doing so is difficult in practice: In multi-task RL, state of the art methods often fail to outperform a degenerate solution that simply learns each task separately. Hypernetworks are a promising path forward since they replicate the separate policies of the degenerate solution while also allowing for generalization across tasks, and are applicable to meta-RL. However, evidence from supervised learning suggests hypernetwork performance is highly sensitive to the initialization. In this paper, we 1) show that hypernetwork initialization is also a critical factor in meta-RL, and that naive initializations yield poor performance; 2) propose a novel hypernetwork initialization scheme that matches or exceeds the performance of a state-of-the-art approach proposed for supervised settings, as well as being simpler and more general; and 3) use this method to show that hypernetworks can improve performance in meta-RL by evaluating on multiple simulated robotics benchmarks.

研究の動機と目的

• ハイパーネット初期化におけるメタ強化学習の重要な課題に取り組むこと。特に、ナイーブな初期化法では信頼性のある性能が得られないこと。
• 教師あり学習の設定から得られる最先端の性能と同等またはそれを上回る一般化可能で単純な初期化手法を提案すること。
• 適切に初期化されたハイパーネットが、多様なシミュレーテッドロボティクス環境におけるメタ強化学習エージェントの性能を顕著に向上させられることを示すこと。
• モデル全体のパラメータ数が制限された条件下でも、ハイパーネットが標準アーキテクチャを上回るサンプル効率と一般化性能を示すこと。

提案手法

• ターゲットの初期化分布に一致する基本ネットワークの重みを生成できるように、ハイパーネットを初期化する新しいハイパーネット初期化スキームであるBias-HyperInitを提案する。
• 基本ネットワークの重みがターゲット分布に一致するように、ハイパーネットの重みを直接初期化する補完的手法であるWeight-HyperInitを導入する。
• タスクエンコーダーからのタスク埋め込みに条件づけてハイパーネットを適用することで、テスト時におけるタスクIDの入力を必要とせず、タスク固有のポリシーのパラメータを生成可能にする。
• 標準的なメタ強化学習の訓練フレームワークを採用し、ポリシーグラデント更新を用いる。ハイパーネットは各タイムステップでポリシーネットワークのパラメータを動的に生成する。
• ハイパーネットの出力を用いて基本ポリシーネットワークのパラメータを更新できる微分可能アーキテクチャを採用し、エンドツーエンドの訓練を可能にする。
• VariBADおよびRL2をベースラインとして用い、Meta-World、MuJoCo、グリッドワールドを含む標準的なメタ強化学習ベンチマークで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネット初期化がメタ強化学習の性能に顕著な影響を与えるか。また、ナイーブな初期化法では失敗するか。
• RQ2 アーキテクチャ的・分布的特化なしに、教師あり学習設定から得られる最先端の結果と同等またはそれを上回る一般用途のハイパーネット初期化手法を設計可能か。
• RQ3 提案された初期化を用いたハイパーネットは、標準アーキテクチャや既存手法と比較して、多様なメタ強化学習ベンチマークで性能向上を示せるか。
• RQ4 ハイパーネットの性能向上はモデルサイズに比例するか。また、モデル全体のパラメータ数が制限された場合でも、標準アーキテクチャを上回るか。

主な発見

• Bias-HyperInitはPick-Placeタスクで34.2%の成功確率を達成し、標準アーキテクチャの3.8%と比較して9倍の向上を示し、HFI（25.5%）を上回った。
• ML10では、Bias-HyperInitを用いたハイパーネットが標準アーキテクチャと比較して成功確率が2倍に向上し、HFIを上回った。
• Cheetah-DirおよびWalkerでは、Bias-HyperInitを用いたハイパーネットが、すべての基本ネットワークサイズと総パラメータ数において標準アーキテクチャと同等またはそれを上回った。特にモデルサイズが大きい場合に顕著な向上が見られた。
• VariBADおよびRL2の両方の設定で性能向上が確認され、RL2に適用した場合、ML10で成功確率が2倍に向上した。
• Bias-HyperInitは、FiLMや標準アーキテクチャを含むすべての評価ベンチマークでHFIの性能と同等またはそれを上回った。さらに、より単純かつ汎用性に優れていた。
• 総パラメータ数を一定に保った状態でも、Bias-HyperInitを用いたハイパーネットは標準アーキテクチャを一貫して上回り、優れたサンプル効率を示した。