[論文レビュー] Hierarchical Policy Learning is Sensitive to Goal Space Design

Zach Dwiel, Madhavun Candadai+2 more|arXiv (Cornell University)|May 4, 2019

Reinforcement Learning in Robotics参考文献 25被引用数 10

ひとこと要約

本論文は、ゴール空間設計が階層強化学習に与える影響を調査し、回転やノイズにはほとんど影響を受けるが、追加の無関係要因は、特にマスターポリシーの行動空間において、階層的アクターキャッチャー（HAC）の学習を著しく損なうことを示している。主な貢献は、ゴール表現における誤った要因がサンプル効率を著しく低下させることを特定し、階層的強化学習において、分離され、タスク関連の表現が不可欠であることを強調している。

ABSTRACT

Hierarchy in reinforcement learning agents allows for control at multiple time scales yielding improved sample efficiency, the ability to deal with long time horizons and transferability of sub-policies to tasks outside the training distribution. It is often implemented as a master policy providing goals to a sub-policy. Ideally, we would like the goal-spaces to be learned, however, properties of optimal goal spaces still remain unknown and consequently there is no method yet to learn optimal goal spaces. Motivated by this, we systematically analyze how various modifications to the ground-truth goal-space affect learning in hierarchical models with the aim of identifying important properties of optimal goal spaces. Our results show that, while rotation of ground-truth goal spaces and noise had no effect, having additional unnecessary factors significantly impaired learning in hierarchical models.

研究の動機と目的

• ゴール空間における系統的な歪みが階層強化学習の学習パフォーマンスに与える影響を調査すること。
• 現代の強化学習で一般的に用いられる、学習されたゴール表現が、回転、ノイズ、または追加要因といった不完全要因に対して、どの程度頑健であるかを評価すること。
• HACと単一レベルのHERにおける、ゴール空間設計の影響を、特にサンプル効率と収束性の観点から分離して評価すること。
• 成功した階層的ポリシー学習に不可欠なゴール空間の特性を特定すること。
• ゴール空間表現の失敗モードを特定することで、将来の無教師表現学習を用いた階層エージェント設計に情報を提供すること。

提案手法

• ロボットタスク（Fetch reachおよびfetch push）の真のゴール空間に、回転、定数ノイズ、および無関係要因を適用することで、シミュレーテッド環境で系統的に変更した。
• 後悔経験リプレイ（HER）を組み合わせた二段階の階層的アクターキャッチャー（HAC）フレームワークを用い、歪められたゴール空間下での学習パフォーマンスを評価した。
• 回転（最大45°）、ガウスノイズ（SNR 18.75dBから6.71dB）、および追加の無関係要因といった、異なるゴール空間歪みの影響を比較した。
• HAC（二段階の階層）とHER（単一レベル）を比較することで、階層構造がゴール空間設計への感受性に与える影響を分離した。
• 到達不能なゴールペナルティや、後悔行動メモリといった是正メカニズムを実装し、頑健性をテストした。
• 10個の異なる乱数シードを用いて収束速度と最終パフォーマンスを測定し、統計的信頼性を確保した。

実験結果

リサーチクエスチョン

• RQ1 真のゴール空間を最大45度回転させると、HACおよびHERにおける学習パフォーマンスにどのような影響を与えるか？
• RQ2 ゴール空間にノイズ成分を追加すると、階層的および単一レベルの強化学習エージェントのサンプル効率にどのような影響を与えるか？
• RQ3 ゴール空間に追加の無関係要因が存在する場合、HACの収束性とパフォーマンスはHERと比べてどのように変化するか？
• RQ4 HERに影響がないのに対し、HACは無関係要因が導入された際になぜ収束しなくなるのか？
• RQ5 到達不能なゴールペナルティや後悔行動メモリといった是正メカニズムは、ゴール空間が汚染された場合にパフォーマンスを回復させることができるか？

主な発見

• ゴール空間を最大45度回転させても、HACおよびHERの両方で学習パフォーマンスに顕著な影響が認められず、ゴール空間の線形変換に対して頑健であることが示された。
• ゴール空間にガウスノイズを追加すると、HERのパフォーマンスは徐々に低下し、信号対雑音比（SNR）が18.75dBから6.71dBに低下するに従い収束が失敗したが、HACは相対的に安定していた。
• ゴール空間に1つの無関係な定数要因を追加したところ、HACは100エポック経過しても収束しなくなったが、HERには影響がなかった。これは、階層アーキテクチャにおいて、極めて感受性が高いことが示された。
• HACの失敗は、到達不能な部分ゴールが無関係要因と混同されることで、マスターポリシーの行動空間で学習が難しくなったことに起因していることが特定された。
• 到達不能なゴールペナルティや後悔行動メモリを適用しても、追加要因が存在する場合、HACは収束しなかった。これは、これらのメカニズムが、劣悪なゴール空間設計を補うには不十分であることを示している。
• ゴール空間の次元数を増加させると、HACのパフォーマンスが悪化した。これは、表現能力そのものよりも、分離性とタスク関連性が重要であることを示唆している。