[論文レビュー] Why Does Hierarchy (Sometimes) Work So Well in Reinforcement Learning?

Ofir Nachum, Haoran Tang+4 more|arXiv (Cornell University)|Sep 23, 2019

Reinforcement Learning in Robotics参考文献 40被引用数 51

ひとこと要約

本論文はHRLを実証的に分析し、利点の大半は政策学習の容易化や意味論的な行動表現よりも探索の改善によって生じる、という結論を得ている。その後、HRLの性能に匹敵する非階層的探索手法を提案する。

ABSTRACT

Hierarchical reinforcement learning has demonstrated significant success at solving difficult reinforcement learning (RL) tasks. Previous works have motivated the use of hierarchy by appealing to a number of intuitive benefits, including learning over temporally extended transitions, exploring over temporally extended periods, and training and exploring in a more semantically meaningful action space, among others. However, in fully observed, Markovian settings, it is not immediately clear why hierarchical RL should provide benefits over standard "shallow" RL architectures. In this work, we isolate and evaluate the claimed benefits of hierarchical RL on a suite of tasks encompassing locomotion, navigation, and manipulation. Surprisingly, we find that most of the observed benefits of hierarchy can be attributed to improved exploration, as opposed to easier policy learning or imposed hierarchical structures. Given this insight, we present exploration techniques inspired by hierarchy that achieve performance competitive with hierarchical RL while at the same time being much simpler to use and implement.

研究の動機と目的

• 複雑なタスクでなぜ階層的強化学習 (HRL) が役立つのかを研究する動機づけ。
• 階層性に基づく利点を移動、ナビゲーション、および操作タスクにわたり分離・評価する。
• 長期的アクションを用いた訓練、探索、または意味表現による改善が生じているかを判断する。
• 階層に触発された探索戦略を利用することで、非階層的手法がHRLの性能に匹敵できるかを評価する。

提案手法

• 4つの移動/ナビゲーション/操作タスク（AntMaze、AntPush、AntBlock、AntBlockMaze）で、2つのHRLパラダイム（オプションフレームワークと目標条件 HIRO）を実証的に評価する。
• 訓練ホライズン（c_train）と探索ホライズン（c_expl）を切り離して、時間的抽象化の効果を分離する。
• HRLを、マルチステップ報酬を用いて訓練した非階層的エージェント、およびHRL収集データで訓練されたシャドウエージェントと比較する。
• HRLに触発された2つの探索戦略（Explore & Exploit および Switching Ensemble）を提案・検証する。これらは明示的な階層構造を用いない。
• HRLの性能における探索と訓練表現を分離するためにアブレーション実験を用いる。）

実験結果

リサーチクエスチョン

• RQ1 検討対象のタスクにおいて、長期的な訓練または探索がHRLの経験的利得を説明するか？
• RQ2 高レベルアクション表現（意味論的訓練）の利点はHRLの性能にとって必須か？
• RQ3 HRL風の探索やマルチステップ報酬を与えられた非階層的エージェントはHRLの性能に匹敵できるか？
• RQ4 HRLに触発された探索戦略は非階層的エージェントをHRLレベルの性能へ改善するか？

主な発見

• 多くのHRLの利点は、訓練の容易さや意味論的なアクション表現よりも探索の改善に起因する。
• 探索を統制すると、マルチステップ報酬がHRLの訓練効果の多くを再現できることが示され、高レベルなアクション表現の重要性は低くなる。
• 長期的探索や目的指向探索を備えた非階層的エージェントは、いくつかのタスクでHRLの性能に匹敵できる。
• 2つの非階層的探索手法（Explore & Exploit および Switching Ensemble）はHRL似の性能を達成し、探索が鍵となる要因であることを強調する。
• 強い性能には明示的な階層構造は必須ではなく、HRLに触発された探索戦略が、検証環境で十分である。