[論文レビュー] On the Complexity of Exploration in Goal-Driven Navigation

Maruan Al-Shedivat, Lisa Lee+2 more|arXiv (Cornell University)|Nov 16, 2018

Optimization and Search Problems参考文献 11被引用数 7

ひとこと要約

本稿は、目的駆動型ナビゲーションの複雑さを研究するため、Escaperoom環境を導入し、ゴール依存グラフに基づくヒッティングタイムという指標を提案して探索の難易度を解析的に測定する。高いヒッティングタイムは非階層的強化学習（RL）において性能が悪くなることと相関しており、階層的PPO（HiPPO）が複雑で複数の部分ゴールを持つタスクにおいて、フラットベースラインを著しく上回ることを示している。

ABSTRACT

Building agents that can explore their environments intelligently is a challenging open problem. In this paper, we make a step towards understanding how a hierarchical design of the agent's policy can affect its exploration capabilities. First, we design EscapeRoom environments, where the agent must figure out how to navigate to the exit by accomplishing a number of intermediate tasks (\emph{subgoals}), such as finding keys or opening doors. Our environments are procedurally generated and vary in complexity, which can be controlled by the number of subgoals and relationships between them. Next, we propose to measure the complexity of each environment by constructing dependency graphs between the goals and analytically computing \emph{hitting times} of a random walk in the graph. We empirically evaluate Proximal Policy Optimization (PPO) with sparse and shaped rewards, a variation of policy sketches, and a hierarchical version of PPO (called HiPPO) akin to h-DQN. We show that analytically estimated \emph{hitting time} in goal dependency graphs is an informative metric of the environment complexity. We conjecture that the result should hold for environments other than navigation. Finally, we show that solving environments beyond certain level of complexity requires hierarchical approaches.

研究の動機と目的

• 複数の依存関係を持つ部分ゴールを有する目的駆動型ナビゲーションタスクにおける探索の複雑さを理解し、測定すること。
• 階層的ポリシー設計が、このような環境における探索と学習パフォーマンスに与える影響を評価すること。
• ゴールの依存関係に基づいて、形式的かつ解析的に計算可能な環境の複雑さの指標を開発すること。
• この複雑さの指標が、深層強化学習の設定における学習の難易度を予測できるかどうかをテストすること。
• 高い探索複雑さを示す環境を解くために階層的アプローチがどれほど必要かを調査すること。

提案手法

• 設定可能な部分ゴールの依存関係を持つ、手続き的に生成されたグリッドワールド環境「Escaperoom」を設計する。
• ノードが部分ゴールを表し、エッジがそれらの間の必須遷移を表すゴール依存グラフを構築する。
• グラフのラプラシアン行列を用いた線形方程式系 $ Lx = b $ を用いて、ランダムウォークの期待ヒッティングタイムを計算する。ここで $ x_t = 0 $、$ b_s = 1 $、$ b_t = -1 $、$ b_k = 0 $（$ k \notin \{s,t\} $）。
• スパarselyリワードされた強化学習（PPO）、リワードの形状付け（PPO+Bonus）、ポリシーのスケッチ（PPO+Sketch）、および階層的バージョン（HiPPO）を用いて評価を行う。
• ゴール依存グラフの深さと幅が異なる7つの環境において、性能を実験的に評価する。
• 解析的に計算されたヒッティングタイムと、成功確率やエピソード長といった実験的RLパフォーマンス指標の相関を分析する。

実験結果

リサーチクエスチョン

• RQ1 ナビゲーションタスクにおけるゴール依存関係の構造が、探索の複雑さにどのように影響するか？
• RQ2 ゴール依存グラフにおけるヒッティングタイムは、RLにおける環境の複雑さを信頼性高く解析的に測定できるか？
• RQ3 階層的ポリシーとフラットで非階層的なポリシーは、複雑で複数の部分ゴールを持つナビゲーションタスクを解く際に、どのように比較されるか？
• RQ4 内部報酬の形状付けやポリシーのスケッチは、このようなタスクにおいて非階層的エージェントの学習を改善するか？
• RQ5 解析的に計算されたヒッティングタイムと、異なる環境における実験的RLパフォーマンスの相関はどの程度強いのか？

主な発見

• ゴール依存グラフにおける解析的ヒッティングタイムは、実験的RLパフォーマンスと強く相関しており、有用な複雑さの指標であることが妥当化された。
• ヒッティングタイムが最も高かった環境（f）と（g）（それぞれ86.1と82.5）は最も困難であり、HiPPOの成功確率はそれぞれ11.2%と19.0%にとどまり、フラットPPO手法は完全に失敗した。
• HiPPOは最高の成功確率（（a）で74.9%、（b）で57.0%、（g）で19.0%）と最短の平均エピソード長（（a）で最大の48.2%、（g）で93.8%）を達成し、優れたサンプル効率と学習能力を示した。
• スパースリワードを用いたPPOがPPO+Bonusを上回った。これは、中間ゴールに対する内部ボーナス報酬がフラットポリシーには役立たず、むしろ学習を妨げることが示唆された。
• PPO+Sketchは標準PPOよりも成績が悪く、適切な階層的構造がない部分ゴールへの条件付けは逆効果である可能性を示唆した。
• ヒッティングタイムとHiPPOの成功確率およびエピソード長の相関（図3）から、ヒッティングタイムがRLにおける環境の難易度を意味のある指標として予測できることを確認した。