[論文レビュー] Causality-driven Hierarchical Structure Discovery for Reinforcement Learning

Shaohui Peng, Xing Hu+10 more|arXiv (Cornell University)|Oct 13, 2022

Reinforcement Learning in Robotics被引用数 13

ひとこと要約

本稿では、環境変数同士の因果的依存関係を活用して、無作為な探索に代わる高品質な部分目標階層を発見する、因果駆動型の階層強化学習フレームワークであるCDHRLを提案する。この手法は、反復的に因果関係の発見と部分目標階層の構築を促進し、2D-Minecraft や Eden といった複雑な環境において、SOTA手法に比べて探索効率と学習速度を顕著に向上させる。

ABSTRACT

Hierarchical reinforcement learning (HRL) effectively improves agents' exploration efficiency on tasks with sparse reward, with the guide of high-quality hierarchical structures (e.g., subgoals or options). However, how to automatically discover high-quality hierarchical structures is still a great challenge. Previous HRL methods can hardly discover the hierarchical structures in complex environments due to the low exploration efficiency by exploiting the randomness-driven exploration paradigm. To address this issue, we propose CDHRL, a causality-driven hierarchical reinforcement learning framework, leveraging a causality-driven discovery instead of a randomness-driven exploration to effectively build high-quality hierarchical structures in complicated environments. The key insight is that the causalities among environment variables are naturally fit for modeling reachable subgoals and their dependencies and can perfectly guide to build high-quality hierarchical structures. The results in two complex environments, 2D-Minecraft and Eden, show that CDHRL significantly boosts exploration efficiency with the causality-driven paradigm.

研究の動機と目的

• 無作為な探索パラダイムに起因する階層強化学習における低効率な探索を解消すること。
• スパarselyな報酬を持つ複雑な環境において、高品質な階層的構造（部分目標およびその依存関係）を自動で発見すること。
• 部分目標階層の構築の質と効率を向上させるために、無作為な探索を因果駆動型の発見に置き換えること。
• 因果関係の発見と部分目標階層の構築の間で、反復的かつ相互に強化される進捗を実現すること。
• 複雑な部分目標依存関係を示す環境における訓練効率と最終的なパフォーマンスを向上させること。

提案手法

• CDHRL は、因果関係の発見と部分目標階層の構築を交互に繰り返す反復的ブースティングフレームワークを採用する。
• 因果関係の発見は、部分目標ベースのポリシーを用いて収集した干渉データを用いて、制御可能な環境変数間の因果的関係を同定する。
• 部分目標階層の構築は、制御可能な変数の変化として到達可能な部分目標を特定し、発見された因果的依存関係に基づいてそれらを整理する。
• 階層的ポリシーを用いて標的となる干渉データを生成することで、因果グラフの正確性が向上し、より効率的な発見が可能になる。
• 因果構造を用いて部分目標の学習順序を推定することで、依存関係が尊重され、訓練がより安定するようになる。
• 画像ベースの環境では、因果分析に適した離散的環境変数を抽出するために、分離可能なエンコーダーを統合する。

実験結果

リサーチクエスチョン

• RQ1 環境変数間の因果関係を、強化学習における階層的構造発見に効果的に活用できるか？
• RQ2 因果駆動型の発見パラダイムが、無作為な探索に比べて高品質な部分目標階層を発見する上で優れているか？
• RQ3 因果関係の発見と部分目標階層の構築の間の反復的相互作用が、学習効率をどのように向上させるか？
• RQ4 因果に基づく階層構造は、複雑な環境において探索効率と訓練速度をどの程度向上させるか？
• RQ5 因果駆動型の部分目標順序付けは、非因果的手法に比べ、より安定的かつ高速に収束を達成できるか？

主な発見

• CDHRL は、2D-Minecraft や Eden において、無作為な探索を因果駆動型の発見に置き換えることで、探索効率を顕著に向上させる。
• 階層的ポリシーによる干渉データを用いて学習した因果グラフは、無作為な行動に基づく学習に比べ、真の値との構造ハミング距離（SHD）と構造的干渉距離（SID）が低くなる。
• MEGA に比べ、特に因果関係による正しい部分目標順序付けのおかげで、Eden における MeatIncrease や SatietyIncrease といった部分目標での学習収束がより速く、安定する。
• 本手法は、一時的な短距離経路を飛ばし、長期的な因果経路（例：Stick → Iron Ore）を発見でき、これにより訓練速度と一般化性能が向上する。
• 因果関係に基づいて構築された部分目標階層は、アクション空間を縮小し、より効率的なマルチレベルポリシー訓練を可能にする。
• CDHRL は、最終パフォーマンスと学習速度の両面で、HAC やカリキュラム学習を強化した HRL といった最先端の HRL 手法を上回る。