[論文レビュー] Towards learning domain-independent planning heuristics

Paweł Gomoluch, Dalal Alrajeh+2 more|arXiv (Cornell University)|Jul 21, 2017

AI-based Problem Solving and Planning参考文献 1被引用数 4

ひとこと要約

本論文は、多様で関係のない計画ドメインから得たデータを用いて、人工ニューラルネットワーク（ANN）を用いてドメインに依存しない計画ヒューリスティクスを学習する機械学習的手法を提案する。全体的な性能は最先端のヒューリスティクスを上回らなかったが、Fast Forward ヒューリスティクスのニューラルネットワークベースの補正（NN-FF）は、より簡単なパーキング問題において探索された状態数を平均3.5倍まで削減した。これは、特定の問題サブセットにおける改善の可能性を示している。

ABSTRACT

Automated planning remains one of the most general paradigms in Artificial Intelligence, providing means of solving problems coming from a wide variety of domains. One of the key factors restricting the applicability of planning is its computational complexity resulting from exponentially large search spaces. Heuristic approaches are necessary to solve all but the simplest problems. In this work, we explore the possibility of obtaining domain-independent heuristic functions using machine learning. This is a part of a wider research program whose objective is to improve practical applicability of planning in systems for which the planning domains evolve at run time. The challenge is therefore the learning of (corrections of) domain-independent heuristics that can be reused across different planning domains.

研究の動機と目的

• 機械学習を用いて、多様な計画ドメインに一般化可能なドメインに依存しないヒューリスティクス関数を自動的に学習できるかを調査すること。
• ドメインが事前に分かっていない動的または進化するシステムにおいて、既存のドメイン特化型学習手法の限界を克服すること。
• 計画状態の共有でドメインに依存しない表現を用いて、関係のない計画ドメインに一般化できる手法を開発すること。
• ニューラルネットワークが、前向き計画における探索効率を向上させる有効なヒューリスティクス補正を学習できるかを評価すること。
• 高品質で最適でない解がヒューリスティックプランナによって得られる非最適解を、スケーラブルな学習のための訓練データとして効果的に使用できるかを検討すること。

提案手法

• 多様なドメインにおける小規模な計画問題の最適解から抽出した状態特徴を用いて、人工ニューラルネットワークを訓練する。
• ニューラルネットワークの入力表現として、Fast Forward（FF）およびコスト効率A*（CEA）ヒューリスティクスから得られる特徴を用いる。
• 最適なコストから目標までのコストを予測するヒューリスティクス関数を、初期から学習するか、あるいは既存のヒューリスティクス（例：FF）の補正として学習する。
• 訓練されたニューラルネットワークを前向き探索プランナに統合し、状態選択をガイドする。
• 固定時間制限内での探索状態数と解決可能な問題数を比較することで、性能を評価する。
• 大規模な問題にスケーリングするため、大規模なタイムアウト下で動作するヒューリスティックプランナから得られる高品質で非最適な解を含むデータ収集を拡張する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、関係のない計画ドメインに一般化可能なドメインに依存しないヒューリスティクス関数を学習できるか？
• RQ2 既存のドメインに依存しないヒューリスティクス（例：FF）の補正をニューラルネットワークで学習することで、初期からの学習よりも高い性能が得られるか？
• RQ3 学習されたニューラルネットワークヒューリスティクスの性能は、FF や CEA のような確立されたドメインに依存しないヒューリスティクスと比べてどうか？
• RQ4 ニューラルネットワークヒューリスティクスは、特に簡単な問題サブセットにおいて、探索効率をどの程度向上させるか？
• RQ5 ヒューリスティックプランナから得られるノイズの多い非最適解を、大規模な問題向けに一般化可能なヒューリスティクスの学習に効果的に使用できるか？

主な発見

• Fast Forward ヒューリスティクスのニューラルネットワークベースの補正（NN-FF）は、FF と比較して、最初の10個のパーキング問題において、幾何平均で探索された状態数を平均3.5倍まで削減した。
• より簡単な問題において強い改善が見られたが、NN-FF ヒューリスティクスは輸送ドメインでは FF より2つ多く問題を解決したにとどまり、木工ドメインでは3つ少なく、全体的な向上は限定的であった。
• 平均的に見ると、NN-FF ヒューリスティクスは全ドメインで元の FF ヒューリスティクスを上回ることはなく、性能向上は特定の簡単な問題インスタンスに集中していた。
• 初期から学習したニューラルネットワークヒューリスティクス（NN）の性能は、ゴールカウントなどの単純なベースラインと同等またはそれ以下であり、主にゴールカウントヒューリスティクスを再現していたと考えられる。
• リッジ回帰（RR-FF）とニューラルネットワーク（NN-FF）による FF の補正は、それぞれの単体モデル（RR や NN）を上回った。これは、既存のヒューリスティクスを活用することで学習が向上することを示している。
• より難しい問題において NN-FF の相対的性能が低下したことは、より広範な改善を得るためには、大規模で非最適な解を訓練データに含める必要がある可能性を示唆している。