[論文レビュー] Learning General Policies from Small Examples Without Supervision

Guillem Francès, Blai Bonet+1 more|arXiv (Cornell University)|Jan 3, 2021

AI-based Problem Solving and Planning参考文献 34被引用数 10

ひとこと要約

本稿では、サンプル計画やQNP抽象化を必要とせず、少量のラベルなし計画例から一般化可能で非決定的計画方策を自己教師付きで学習する手法を提案する。問題を重み付きMax-SAT最適化として定式化し、良い遷移とゴールを区別する最小の特徴集合と分離超平面を同時に学習する。従来の手法と比較して大幅に小さい命題論理理論で、複数のベンチマークドメインにおいて正しく動作する方策を達成する。

ABSTRACT

Generalized planning is concerned with the computation of general policies that solve multiple instances of a planning domain all at once. It has been recently shown that these policies can be computed in two steps: first, a suitable abstraction in the form of a qualitative numerical planning problem (QNP) is learned from sample plans, then the general policies are obtained from the learned QNP using a planner. In this work, we introduce an alternative approach for computing more expressive general policies which does not require sample plans or a QNP planner. The new formulation is very simple and can be cast in terms that are more standard in machine learning: a large but finite pool of features is defined from the predicates in the planning examples using a general grammar, and a small subset of features is sought for separating "good" from "bad" state transitions, and goals from non-goals. The problems of finding such a "separating surface" while labeling the transitions as "good" or "bad" are jointly addressed as a single combinatorial optimization problem expressed as a Weighted Max-SAT problem. The advantage of looking for the simplest policy in the given feature space that solves the given examples, possibly non-optimally, is that many domains have no general, compact policies that are optimal. The approach yields general policies for a number of benchmark domains.

研究の動機と目的

• サンプル計画やQNP抽象化に依存せずに、少量の計画例から一般化可能な方策を学習する手法を開発すること。
• 良い遷移とゴールを分離する最小で表現力のある特徴集合を特定することで、計画における一般化の課題に取り組むこと。
• 従来のQNPベースおよび線形価値関数アプローチよりもスケーラビリティと表現力を向上させること。
• 完全かつ効率的な組合せ最適化フレームワークを通じて、正しく非決定的な方策の合成を可能にすること。

提案手法

• 一般文法が計画例内のドメイン述語から、大きな有限な特徴プールを生成する。
• 特徴選択と遷移ラベリングの統合問題を重み付きMax-SAT問題として定式化し、最小の分離超平面を同定する。
• 良い・悪い遷移、およびゴール対非ゴールのラベリングをMax-SATフレームワーク内で同時に処理する。
• 解は、与えられた例を解ける特徴空間における最も単純な方策であり、一般化を促進する。
• 対称性を考慮した抽象化と段階的制約生成を用いて、命題論理理論のサイズを削減する。
• 最終的な方策はMax-SATの解から抽出され、未観測のインスタンスで検証される。

実験結果

リサーチクエスチョン

• RQ1 サンプル計画やQNP抽象化を必要とせず、少量のラベルなし計画例から一般化可能な方策を学習可能か？
• RQ2 良い遷移とゴールを分離する最小で表現力のある特徴集合を自動的に発見可能か？
• RQ3 重み付きMax-SATによる特徴選択とラベリングの共同最適化が、スケーラブルで一般化可能な方策をもたらすか？
• RQ4 本手法は、QNPベースおよび線形価値関数アプローチと比較して、スケーラビリティと表現力において優れているか？

主な発見

• 本手法は、10〜30個のブロックを含むBlocksworldで、1つの訓練例のみを用いて100件のテストインスタンスに対して正しく一般化可能な方策を生成した。
• 従来のQNPベース手法と比較して、命題論理理論のサイズが最大1桁小さくなり、1つの例で98.9K〜281.5Kの節を生成したのに対し、以前の研究では120万〜330万の節を要した。
• Miconic や Gripper のような、死のループや非同型な状態空間を有するドメインに対しても、適切な訓練例の選択によりスケーラブルに拡張可能である。
• Gripper のようなドメインでは、従来の教師なし手法が数時間かかっていたのに対し、本手法では数分で解決可能となった。
• Blocksworld用に学習された方策は、証明可能に正しく、4つの特徴（c>0, t′>0, bwp>0, c↑）に基づく1つのルールと4つの効果から構成される。
• 本手法は完全である：特徴プール内に一般化可能な方策が存在する場合、Max-SATソルバはそれを必ず発見する。