[論文レビュー] Learning Neural-Symbolic Descriptive Planning Models via Cube-Space Priors: The Voyage Home (to STRIPS)

Masataro Asai, Christian Muise|arXiv (Cornell University)|Apr 27, 2020

AI-based Problem Solving and Planning参考文献 48被引用数 15

ひとこと要約

本稿では、強化学習やドメイン固有の報酬を用いずに、エンドツーエンドで教師なしに、生の視覚入力から直接にコン pact で記述的な STRIPS スタイルの計画モデルを学習する神経記号的フレームワーク、Cube-Space AutoEncoder (Cube-Space AE) を提案する。潜在的状態空間に立方体のようなグラフ事前分布を課すことにより、記号的行動効果の効率的抽出が可能となり、市販のプランナが使用可能な PDDL 同士のモデルを生成する。15パズルの未学習インスタンスにおいても強力な一般化性能を達成する。

ABSTRACT

We achieved a new milestone in the difficult task of enabling agents to learn about their environment autonomously. Our neuro-symbolic architecture is trained end-to-end to produce a succinct and effective discrete state transition model from images alone. Our target representation (the Planning Domain Definition Language) is already in a form that off-the-shelf solvers can consume, and opens the door to the rich array of modern heuristic search capabilities. We demonstrate how the sophisticated innate prior we place on the learning process significantly reduces the complexity of the learned representation, and reveals a connection to the graph-theoretic notion of "cube-like graphs", thus opening the door to a deeper understanding of the ideal properties for learned symbolic representations. We show that the powerful domain-independent heuristics allow our system to solve visual 15-Puzzle instances which are beyond the reach of blind search, without resorting to the Reinforcement Learning approach that requires a huge amount of training on the domain-dependent reward information.

研究の動機と目的

• 構造化されていない視覚的入力から、人為的に定義された記号や報酬信号に依存せずに、記号的で記述的な遷移モデルを学習する課題に対処すること。
• STRIPSの意味論と整合する立方体のようなグラフに基づく幾何的事前分布を導入することで、学習された行動モデルの複雑さを低減すること。
• 生の画像データから直接的に接地された PDDL 表現を生成することにより、市販の古典的プランナとの直接統合を可能にすること。
• 強化学習を用いず、15パズルのような視覚的計画領域において、未学習の状態に強いゼロショット一般化を達成すること。
• 訓練データに解の状態が含まれていなくても、ドメインに依存しないヒューリスティクスが、自動的に取得された記号的表現における計画を効果的に導けるかどうかを示すこと。

提案手法

• Cube-Space AutoEncoder (Cube-Space AE) は、視覚的観測を、方向性を持つ立方体のようなグラフ構造を持つ離散的・低次元の潜在空間にマッピングするエンコーダとデコーダを共同で学習する。
• アーキテクチャは、潜在空間が有向ハイパーキューブと同型であるように制約を課す幾何的事前分布を強制し、行動効果を単純なビット反転操作として表現可能にする。
• 行動モデルは、学習された遷移ダイナミクスから一貫した潜在状態の変化を特定することで得られ、これらは STRIPS スタイルの事前条件、追加効果、削除効果にマッピングされる。
• Back-to-Logit (BtL) モジュールは、離散的潜在変数を通じた微分可能訓練を可能にするために、ストレートスラッシュ勾配を近似することで、エンドツーエンドの誤差逆伝播を可能にする。
• システムは、古典的プランナ（Fast Downward に h^LMcut ヒューリスティクスを併用）が直接利用可能な PDDL ドメインおよび問題ファイルを出力する。
• 自動エンコーダの学習には、画像遷移ペアに対する対照的学習目的関数が用いられ、潜在空間が環境の真のダイナミクスを的確に捉えていることを保証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、人為的に定義された記号や報酬形状なしに、生の視覚的入力からコン pact で記述的な STRIPS スタイルの行動モデルを学習できるか？
• RQ2 潜在空間に立方体のようなグラフ構造を課すことによって、制約なしの表現に比べて、はるかに単純で解釈可能な行動モデルが得られるか？
• RQ3 得られた記号的モデルは、訓練データに存在しなかった解路にまで一般化できるか、特に15パズルのような複雑な領域において？
• RQ4 ドメインに依存しないヒューリスティクス（例：h^LMcut）は、完全に視覚的観測から学習された記号的表現において、計画をどれほど効果的に導けるか？
• RQ5 密度の高い報酬信号を必要とする強化学習手法と比較して、提案手法は、サンプル効率および計画性能においてどのように優れているか？

主な発見

• システムは、15パズルの状態の生画像からPDDLモデルを効果的に生成し、市販のプランナが盲目的な探索では到達できないインスタンスを解けるようにしている。
• 最適な計画における大部分の状態は訓練中に観測されておらず、未学習の状態構成への強いゼロショット一般化を示している。
• 強化学習や報酬形状なしに、立方体のような潜在空間の構造とドメインに依存しないヒューリスティクスにのみ依存して、計画の成功を達成している。
• 立方体のようなグラフ事前分布により、ブラックボックスなニューラルモデルが直面する、接地された行動表現の指数的爆発を回避する、非常にコンパクトな行動モデルが実現されている。
• Back-to-Logit (BtL) モジュールにより、離散的潜在変数を通じた効果的なエンドツーエンド学習が可能となり、システム全体が1本のパイプラインで微分可能かつ学習可能になっている。
• このフレームワークは、潜在空間に幾何的事前分布を導入することで、解釈可能でかつ古典的計画に有効な記号的表現が得られることを示している。