[論文レビュー] Learning Domain-Independent Heuristics for Grounded and Lifted Planning

Dillon Z. Chen, Sylvie Thiébaux+1 more|arXiv (Cornell University)|Dec 18, 2023

AI-based Problem Solving and Planning被引用数 4

ひとこと要約

本稿では、計画タスクのための新規グラフ表現（接地的で、上位化されたもの）を導入し、グラフニューラルネットワーク（GNN）が、接地された問題インスタンスに依存せずにドメインに依存しないヒューリスティクスを学習可能にする。提案されたGOOSEプランナは、これらの表現を用いて、従来の手法よりもはるかに大きな問題に一般化でき、未学習のタスクにおいて、計画品質と探索効率の両面でSTRIPS-HGNおよび$h^{\text{FF}}$を上回る性能を発揮する。

ABSTRACT

We present three novel graph representations of planning tasks suitable for learning domain-independent heuristics using Graph Neural Networks (GNNs) to guide search. In particular, to mitigate the issues caused by large grounded GNNs we present the first method for learning domain-independent heuristics with only the lifted representation of a planning task. We also provide a theoretical analysis of the expressiveness of our models, showing that some are more powerful than STRIPS-HGN, the only other existing model for learning domain-independent heuristics. Our experiments show that our heuristics generalise to much larger problems than those in the training set, vastly surpassing STRIPS-HGN heuristics.

研究の動機と目的

• 既存のドメインに依存しないヒューリスティクス学習モデル（例：STRIPS-HGN）に見られる理論的表現力の欠如とスケーラビリティの問題を解決すること。
• 古典的計画タスクのための、新たなグラフ表現（接地的および上位化）を考案し、効果的なGNNベースのヒューリスティクス学習を可能にすること。
• 接地されたグラフを構築することなく、上位化された表現から直接ドメインに依存しないヒューリスティクスを学習可能にすること。
• 提案されたグラフ上でMPNNの表現力が、既知のドメインに依存しないヒューリスティクスとどのように関係するかを理論的に分析すること。
• 学習済みヒューリスティクスの性能を、一般化能力、計画品質、スケーラビリティの観点から、実験的に評価すること。

提案手法

• 計画タスクをGNNに適合させるための、新規3種類のグラフ表現（事実駆動型表現：FDR、接地型STRIPS：SLG、上位化型STRIPS：LLG）を提案する。
• これらのグラフ上で動作するメッセージパッシングフレームワークを設計し、置換不変な集約関数を用いて一般化を保証するMPNNを採用する。
• 接地を回避する上位化グラフ表現を導入し、完全な接地ハイパーグラフを構築することなく、大規模問題でも効率的な学習が可能になるようにする。
• 情報保持と一般化のバランスを取るために、GNNで平均および最大プーリング集約器を用い、メッセージパッシングの深さや集約器の選択といったハイパーパrameterのアブレーションを実施する。
• GNNで学習したヒューリスティクスを用いるヒューリスティクス探索エンジン「GOOSEプランナ」を実装し、GPUアクセラレーションを活用したバッチ評価を可能にし、高速な状態評価を実現する。
• 状態評価をバッチ化することでGPUの利用を最適化し、十分なバッチサイズを用いることで、上位化グラフでは1状態あたり0.07～0.7ms、接地グラフでは0.1～5msの低遅延推論を達成する。

Figure 5: (a) GOOSE learned heuristics ( $y$ -axis) vs. $h^{*}$ ( $x$ -axis). No $n$ -puzzle problem could have $h^{*}$ computed. (b) $h^{\operatorname*{FF}}$ ( $y$ -axis) vs. GOOSE ( $x$ -axis) on number of expanded nodes (left) and plan cost (right). Points on the bottom right triangles favour $h^

実験結果

リサーチクエスチョン

• RQ1 接地的表現のスケーラビリティ問題を回避しつつ、GNNを用いたドメインに依存しないヒューリスティクス学習を可能にする計画タスクのグラフ表現を設計できるか？
• RQ2 接地を経ずに、上位化された計画表現から効果的なドメインに依存しないヒューリスティクスを学習することは可能か？
• RQ3 提案されたGNNモデルの表現力は、STRIPS-HGNおよび既知のドメインに依存しないヒューリスティクスと比較してどの程度か？
• RQ4 学習済みヒューリスティクスは、学習セットに含まれる問題よりも大きな問題にどの程度一般化できるか？
• RQ5 グラフ表現やGNNハイパーパrameter（例：層数、集約器タイプ）の選択が、ヒューリスティクスの正確さと探索性能にどのように影響するか？

主な発見

• 8層のSLGグラフと平均集約器を用いたGOOSEプランナは、学習に使われた問題よりもはるかに大きな問題に一般化でき、スケーラビリティと解決品質の両面でSTRIPS-HGNおよび$h^{\text{FF}}$を上回る。
• SLGグラフを用いたドメインに依存しないGOOSEは、VisitAll、VisitSome、およびブロックズワールドの半数以上のインスタンスで$h^{\text{FF}}$を上回り、展開ノード数を減らし、より高品質な計画を返す。
• 上位化グラフ表現（LLG）により、接地を経ずにドメインに依存しないヒューリスティクス学習が可能となり、接地GNNでは処理不能な大規模問題の処理が可能になる。
• 同じグラフ表現を用いたドメインに依存する学習でも、GOOSEはいくつかのドメインで$h^{\text{FF}}$よりも高いカバー範囲を達成し、より低コストの計画を生成する。
• ドメインに依存しない学習では最適なメッセージパッシング層数は8～12層、ドメインに依存する学習では4～8層であり、それ以上に増やすと学習の不安定性や過学習により性能が低下する。
• GPUアクセラレーションによる評価により、上位化グラフでは1状態あたり0.07～0.7ms、接地グラフでは0.1～5msの低遅延推論が実現され、上位化グラフではバッチサイズが32以上、接地グラフでは4以上で最適な性能が得られる。