[論文レビュー] Hierarchical Reinforcement Learning with Abductive Planning

Kazeto Yamamoto, Takashi Onishi+1 more|arXiv (Cornell University)|Jun 28, 2018

Reinforcement Learning in Robotics参考文献 20被引用数 10

ひとこと要約

本論文は、複雑で部分的に観測可能な環境におけるサンプル効率の向上を目的として、帰納的記号的計画法と深層強化学習を統合する階層的強化学習フレームワークを提案する。ヒルベルトに基づく推論ではなく、ILPに基づく帰納的推論を採用することで、ユーザー定義の報酬関数をサポートし、未知の状態空間でも動作可能となり、複数の目的を有するマインクラフトに類似した環境において学習を著しく加速する。

ABSTRACT

One of the key challenges in applying reinforcement learning to real-life problems is that the amount of train-and-error required to learn a good policy increases drastically as the task becomes complex. One potential solution to this problem is to combine reinforcement learning with automated symbol planning and utilize prior knowledge on the domain. However, existing methods have limitations in their applicability and expressiveness. In this paper we propose a hierarchical reinforcement learning method based on abductive symbolic planning. The planner can deal with user-defined evaluation functions and is not based on the Herbrand theorem. Therefore it can utilize prior knowledge of the rewards and can work in a domain where the state space is unknown. We demonstrate empirically that our architecture significantly improves learning efficiency with respect to the amount of training examples on the evaluation domain, in which the state space is unknown and there exist multiple goals.

研究の動機と目的

• 過度な試行錯誤に起因する強化学習の、大規模で複雑な現実世界の分野における非効率性に対処すること。
• ヒルベルト定理に依存する既存の記号的計画法が、ユーザー定義の報酬関数を処理できないという制限を克服すること。
• 事前知識を用いた帰納的推論により、未知の状態空間と複数の目的を有する分野でも計画を可能にすること。
• 高レベルのポリシー学習をガイドするために、記号的帰納的計画法と深層RLを統合することで学習効率を向上させること。

提案手法

• フレームワークは、ヒルベルト宇宙を必要としない記号的知識の上での推論を可能にする、ILP形式の帰納的推論を高レベル計画者として使用する。
• 帰納的推論は、報酬期待値を含むユーザー定義の評価関数に基づいて高レベルの計画を生成し、ドメイン固有の知識の統合を可能にする。
• 高レベル計画者は、例えば「coalを発見する」「ファーム除去へ移動する」などの部分目標のシーケンスを生成し、それらを低レベルのPPOエージェントが実行する。
• 同一の観測に対して推論結果をキャッシュして再利用することで、計画の速度を向上させるメカニズムを導入する。
• 帰納的計画法とPPOに基づく深層RLを統合し、高レベル計画者が低レベルポリシーの学習をガイドする。
• アーキテクチャは任意長の計画をサポートし、証明グラフを用いて推論プロセスの解釈可能性を高める。

実験結果

リサーチクエスチョン

• RQ1 ILPに基づく帰納的計画は、複雑で部分的に観測可能な分野における階層的強化学習のサンプル効率を向上させることができるか？
• RQ2 ヒルベルトに基づかない記号的計画法は、未知の状態空間を有する環境でも効果的に動作することができるか？
• RQ3 ユーザー定義の報酬関数は、記号的計画法に効果的に統合可能であり、高レベルポリシー学習をガイドできるか？
• RQ4 帰納的計画の統合は、標準的な階層的強化学習と比較して、学習速度とパフォーマンスにどのような影響を与えるか？

主な発見

• ABDUCTIVEは、5,000エピソードにわたってベースラインモデルよりも顕著に高い累積報酬を達成し、学習効率の優位性を示した。
• 帰納的計画者は解釈可能なグラフベースの解決仮説を生成し、任意長の計画と非アクション知識（例：物体の性質）の上での推論を可能にした。
• 特に複数の目的と未知の状態空間を有する環境において、標準的な階層的強化学習ベースラインを上回るサンプル効率を達成した。
• 高レベル計画がパフォーマンスのボトル neck となっており、一部の推論ステップに数秒を要したが、キャッシュにより繰り返しの観測に対する応答時間が改善された。
• ユーザー定義の評価関数を通じて報酬に関する事前知識を効果的に活用し、計画における目的の優先順位付けを可能にした。