[論文レビュー] Hyperbolic Deep Reinforcement Learning

Edoardo Cetin, Benjamin Chamberlain+2 more|arXiv (Cornell University)|Oct 4, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、順序付き意思決定における階層的構造をよりよく捉えるために、超空間に埋め込まれた潜在表現をモデル化する、新しい深層強化学習フレームワークを紹介する。スペクトル正則化付き超空間マッピング（S-RYM）を設計することで、訓練の安定化とエンドツーエンド学習を実現し、Euclideanベースラインと比較してProcgenおよびAtari 100Kベンチマークにおいて、ほぼ普遍的な性能向上と一般化性能の向上を達成した。

ABSTRACT

We propose a new class of deep reinforcement learning (RL) algorithms that model latent representations in hyperbolic space. Sequential decision-making requires reasoning about the possible future consequences of current behavior. Consequently, capturing the relationship between key evolving features for a given task is conducive to recovering effective policies. To this end, hyperbolic geometry provides deep RL models with a natural basis to precisely encode this inherently hierarchical information. However, applying existing methodologies from the hyperbolic deep learning literature leads to fatal optimization instabilities due to the non-stationarity and variance characterizing RL gradient estimators. Hence, we design a new general method that counteracts such optimization challenges and enables stable end-to-end learning with deep hyperbolic representations. We empirically validate our framework by applying it to popular on-policy and off-policy RL algorithms on the Procgen and Atari 100K benchmarks, attaining near universal performance and generalization benefits. Given its natural fit, we hope future RL research will consider hyperbolic representations as a standard tool.

研究の動機と目的

• 現在の深層強化学習モデルが、適切なインダクティブバイアスの欠如により、一般化可能で階層的な特徴を学習できないという限界に対処すること。
• 強化学習勾配の非定常性と高分散性が原因で生じる超空間強化学習の最適化不安定性を克服すること。
• 超空間潜在表現を用いた深層強化学習エージェントの安定的かつエンドツーエンドの訓練を可能にすること。
• 超空間幾何が、多様な強化学習ベンチマークにおいて方策の一般化とパフォーマンスを向上させることを検証すること。
• 将来的な強化学習研究における超空間表現を標準的なインダクティブバイアスとして確立すること。

提案手法

• スペクトル正則化付き超空間マッピング（S-RYM）を提案し、スケーリングとスペクトル正則化を組み合わせることで、超空間表現の安定化を図った。
• S-RYMを、オンポリシー（PPO）およびオフポリシー（DQN、SAC）の両方の強化学習アルゴリズムに適用し、既存のフレームワークへのシームレスな統合を実現した。
• 超空間幾何を用いて、状態表現における階層的関係をモデル化し、指数的体積増加の特性を活かして効率的な木構造符号化を実現した。
• δ-ハイパボリシティを指標として用い、学習済み表現の階層的構造を定量化し、パフォーマンスと相関関係を分析した。
• 既存の強化学習コンponentsと統合する際、アーキテクチャの大幅な見直しを必要とせず、標準的な訓練パイプラインとの互換性を確保した。
• 標準的な評価プロトコルとアブレーションスタディを用いて、ProcgenおよびAtari 100Kベンチマークで本手法を検証した。

実験結果

リサーチクエスチョン

• RQ1 超空間幾何が、階層的状態関係をより効果的に符号化できるため、深層強化学習における有効なインダクティブバイアスとして機能できるか？
• RQ2 強化学習勾配の高分散性と非定常性を考慮すると、超空間表現をエンドツーエンドで安定して訓練することは可能か？
• RQ3 超空間幾何を組み込むことで、多様な強化学習環境において一般化性能とパフォーマンスが向上するか？
• RQ4 δ-ハイパボリシティで測定される学習済み表現の階層的構造と、強化学習パフォーマンスの間には、どのような相関関係があるか？
• RQ5 本超空間表現フレームワークは、PPG やデータオーグメンテーションなどの他の最先端の強化学習技術と互換性があるか？

主な発見

• 提案された超空間強化学習フレームワークは、Euclideanベースラインと比較して、ProcgenおよびAtari 100Kベンチマークの両方でほぼ普遍的なパフォーマンス向上を達成した。
• 性能向上は、潜在表現空間のδ-ハイパボリシティの増加と強く相関しており、階層的インダクティブバイアスの重要性を裏付けた。
• 超空間表現は、特にbigfish や dodgeball などの未学習環境におけるテストパフォーマンスの向上を示し、訓練データへの過学習を軽減した。
• Phasic Policy Gradient（PPG）のような高度な技術と組み合わせても一貫した利点を示し、直交的かつ汎用的な適合性と一般化の向上を示した。
• ランダムシフトによるデータオーグメンテーションは一部の環境でパフォーマンスを低下させるが、本超空間フレームワークは依然としてEuclidean対応版を上回り、耐障害性と汎用的優位性を示した。
• 追加の計算コストを要せず安定した訓練が可能であるため、将来的には強化学習における効率的でコンパクトな表現学習の可能性を示唆している。