[論文レビュー] Action Schema Networks: Generalised Policies with Deep Learning

Sam Toyer, Felipe Trevizan+2 more|arXiv (Cornell University)|Sep 13, 2017

AI-based Problem Solving and Planning被引用数 27

ひとこと要約

この論文は、関係的構造とアクション・命題間の重み共有を活用することで、確率的計画問題における一般化された方策を学習する深層学習アーキテクチャ、Action Schema Networks (ASNet) を導入する。これは、同じドメイン内の問題間での転移学習を可能にし、探索と教師あり学習のバランスをとったハイブリッドトレーニングアプローチにより、困難なドメインで従来のプランナーよりも優れた性能を発揮する。

ABSTRACT

In this paper, we introduce the Action Schema Network (ASNet): a neural network architecture for learning generalised policies for probabilistic planning problems. By mimicking the relational structure of planning problems, ASNets are able to adopt a weight-sharing scheme which allows the network to be applied to any problem from a given planning domain. This allows the cost of training the network to be amortised over all problems in that domain. Further, we propose a training method which balances exploration and supervised training on small problems to produce a policy which remains robust when evaluated on larger problems. In experiments, we show that ASNet's learning capability allows it to significantly outperform traditional non-learning planners in several challenging domains.

研究の動機と目的

• 同じ計画ドメイン内の問題に対して再訓練なしに一般化できるニューラルネットワークアーキテクチャの開発。
• 同じスキーマまたは述語を共有するアクションおよび命題間での重み共有を可能にし、パラメータの効率性と転移性を向上。
• 探索と既存プランナからの教師あり学習を組み合わせたトレーニング法の設計により、より大きな問題に対して堅牢な方策を生成。
• 深層学習が確率的計画に対して一般化された方策を効果的に学習でき、非学習型プランナーよりも優れた性能を発揮することの実証。
• 手作業による視覚的符号化を必要とせず、PPDDL表現から直接動作するフレームワークの提供。

提案手法

• ASNetは、アクションと命題の関係的構造に基づくグラフベースのニューラルネットワークであり、エッジは因果的または依存関係（例：アクションが命題に影響を与える）を表す。
• 畳み込みに類似したメッセージパッシング機構を用い、各アクションまたは命題モジュールが複数のレイヤーにわたって隣接ノードからの情報を集約することで、受容 field を拡大する。
• 同じアクションスキーマおよび命題述語のすべてのインスタンスに重み共有を強制することで、同じドメイン内の異なる問題インスタンス間での一般化を可能にする。
• 入力特徴にはドメインに依存しない計画ヒューリスティクス（例：fast-downward からのもの）を含め、学習をガイドし、より大きな問題における性能を向上。
• 強化学習（探索）と、小さな問題における既存プランナからのソリューションを用いた教師ありファインチューニングを交互に繰り返すハイブリッドトレーニング戦略を採用。
• 状態におけるアクション確率の予測を目的とし、エンドツーエンドトレーニングを可能にする微分可能損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 同じ計画ドメイン内の異なる問題インスタンスに一般化できる深層ニューラルネットワークアーキテクチャを設計できるか？
• RQ2 アクションおよび命題モジュール間での重み共有を効果的に実装することで、計画における転移学習を可能にできるか？
• RQ3 探索と教師あり学習を組み合わせたハイブリッドトレーニング制度が、未観測の大規模な問題に一般化可能な堅牢な方策を生み出せるか？
• RQ4 ASNetは、複雑な確率的計画ドメインにおいて、従来の非学習型プランナーよりどの程度優れているか？
• RQ5 手作業による視覚的符号化を必要とせず、PPDDL表現から直接効果的な方策を学習できるか？

主な発見

• ASNetは、再訓練なしに、与えられた計画ドメイン内の任意の問題に適用可能な一般化された方策を学習でき、非学習型プランナーより顕著な性能向上を達成した。
• 探索と教師ありファインチューニングをバランスさせたハイブリッドトレーニング法により、より大きな問題に対して評価された際も、方策が堅牢かつ効果的であることが確認された。
• ASNetは、いくつかの困難なドメインにおいて、最先端の古典的および確率的プランナーよりも優れた性能を示し、計画における深層学習の有効性を実証した。
• ドメインに依存しないヒューリスティクスを入力特徴として統合することで、複雑な問題における一般化性と性能が顕著に向上した。
• 関係的インダクティブバイアスと重み共有メカニズムのおかげで、サイズや構造が異なる問題に対してもASNetは一般化できた。
• ゴールに確率1で到達できない場合でも、コストペナルティと方策学習を通じて死に胡同避ける能力を学習し、モデルが有効に機能した。