[論文レビュー] Learning to Rank for Synthesizing Planning Heuristics

Caelan Reed Garrett, Leslie Pack Kaelbling+1 more|arXiv (Cornell University)|Aug 3, 2016

AI-based Problem Solving and Planning参考文献 20被引用数 8

ひとこと要約

本稿では、回帰誤差ではなく状態の相対的順序を最適化する学習-ランクアプローチ（RankSVM）を用いて計画ヒューリスティクスを学習する手法を提案する。時間的相互作用を捉えるペアワイズアクション特徴量を導入し、IPC問題において回帰ベースの手法や標準的なヒューリスティクスを上回る優れた性能を達成。カバレッジは高く、ケンダールのtau相関係数も良好である。

ABSTRACT

We investigate learning heuristics for domain-specific planning. Prior work framed learning a heuristic as an ordinary regression problem. However, in a greedy best-first search, the ordering of states induced by a heuristic is more indicative of the resulting planner's performance than mean squared error. Thus, we instead frame learning a heuristic as a learning to rank problem which we solve using a RankSVM formulation. Additionally, we introduce new methods for computing features that capture temporal interactions in an approximate plan. Our experiments on recent International Planning Competition problems show that the RankSVM learned heuristics outperform both the original heuristics and heuristics learned through ordinary regression.

研究の動機と目的

• ヒューリスティクス学習を回帰問題ではなくランク問題として再定式化することで、ドメイン特化型計画ヒューリスティクスの性能を向上させること。
• 近似計画内のアクション間の時間的・順序的相互作用を符号化する特徴量を開発すること。
• ランクベースの学習が、計画カバレッジとヒューリスティクス品質の観点で回帰ベースの学習を上回ることを示すこと。
• 国際計画コンペティション（IPC）の学習トラックから得た実世界の計画問題に対して、手法を評価すること。

提案手法

• 状態の相対的順序を最適化するRankSVMを用いて、ヒューリスティクス学習を学習-ランク問題として定式化。損失関数は計画に沿った状態の順序を最適化する。
• ドメインに依存しないヒューリスティクス（例：CEA）が生成する近似計画の構造から導出されるペアワイズアクション特徴量を導入。
• CEAヒューリスティクスからの緩和計画を用いて、アクションの順序付けと相互作用パターンを捉える特徴量を抽出。
• アンサンブルプランナから得た状態遷移を用いてRankSVMモデルを学習。過学習を防ぐために正則化を適用。
• 問題サイズの分散が大きいドメインでは、ヒューリスティクスに非負制約を適用し、一般化性能を向上。
• カバレッジ、平均計画長、計画時間、展開回数、RMSE、ケンダールのtau相関係数を用いて性能を評価。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティクスをランク問題として学習することで、回帰問題として学習する場合に比べて計画器の性能が向上するか？
• RQ2 アクション間の時間的相互作用を符号化する特徴量は、単純なアクションベースの特徴量よりもヒューリスティクス品質を向上させられるか？
• RQ3 RankSVMベースのヒューリスティクスは、IPCベンチマーク問題において標準的なヒューリスティクス（FF や CEA）と比較してどのように性能を発揮するか？
• RQ4 グリーディベストファーストサーチにおいて、RMSE よりもケンダールのtauがヒューリスティクス品質の予測に優れているか？
• RQ5 小さな問題で学習したヒューリスティクスは、同じドメイン内での未観測の大規模問題に一般化できるか？

主な発見

• RankSVMベースのヒューリスティクスは、すべてのドメインで元のFFおよびCEAヒューリスティクスよりも多くの問題を解決し、特にトランスポーテーションおよびパーキングでカバレッジが顕著に向上した。
• ペアワイズアクション特徴量は単一アクション特徴量を上回り、評価コストが増加しても強力なヒューリスティクスを実現した。
• ケンダールのtauはドメイン全体で問題カバレッジと正の相関を示したが、RMSEは示さなかった。これは、tauがヒューリスティクス品質の指標としてRMSEよりも優れていることを示唆する。
• 非負制約は、問題サイズの二峰性が顕著なトランスポーテーションドメインで一般化性能を向上させた。これは、分散が大きい状況で有効である可能性を示唆する。
• ノーマイステリーでは、高いtau値を示しても学習済みヒューリスティクスが性能を発揮しなかった。これは、ランク学習のみではデッドエンドの検出に失敗するという問題が、ランク単体では捉えきれないことを示唆する。
• FF RSVM Pair および CEA RSVM Pair ヒューリスティクスは、エレベーター、トランスポーテーション、パーキングの5つの評価問題をすべて解決したが、ノーマイステリーでは1/5に留まり、ドメイン特有の課題が顕在化した。