[論文レビュー] Position Paper: Online Modeling for Offline Planning

Eyal Weiss, Gal A. Kaminka|arXiv (Cornell University)|Jun 7, 2022

AI-based Problem Solving and Planning被引用数 4

ひとこと要約

本論文は、事前に定義されたものではなく、計画実行中に動的に生成される行動モデルを用いたオンラインモデリングを提案する。これにより、複雑で学習された、あるいは計算コストの高いモデルを柔軟に活用できる。本手法は、境界を伴うコスト推定器を用いて計画を効率的にガイドし、ASECアルゴリズムの評価を通じて、サブ最適性の目標を満たしつつ実行時間の向上を示している。

ABSTRACT

The definition and representation of planning problems is at the heart of AI planning research. A key part is the representation of action models. Decades of advances improving declarative action model representations resulted in numerous theoretical advances, and capable, working, domain-independent planners. However, despite the maturity of the field, AI planning technology is still rarely used outside the research community, suggesting that current representations fail to capture real-world requirements, such as utilizing complex mathematical functions and models learned from data. We argue that this is because the modeling process is assumed to have taken place and completed prior to the planning process, i.e., offline modeling for offline planning. There are several challenges inherent to this approach, including: limited expressiveness of declarative modeling languages; early commitment to modeling choices and computation, that preclude using the most appropriate resolution for each action model -- which can only be known during planning; and difficulty in reliably using non-declarative, learned, models. We therefore suggest to change the AI planning process, such that is carries out online modeling in offline planning, i.e., the use of action models that are computed or even generated as part of the planning process, as they are accessed. This generalizes the existing approach (offline modeling). The proposed definition admits novel planning processes, and we suggest one concrete implementation, demonstrating the approach. We sketch initial results that were obtained as part of a first attempt to follow this approach by planning with action cost estimators. We conclude by discussing open challenges.

研究の動機と目的

• 従来のオフラインモデリングにおける制限、すなわち行動モデルが計画前に固定されていることによる柔軟性の欠如や、現実世界の領域における非効率性を解消すること。
• モデルの構築を必要に応じて遅延することで、複雑でデータ駆動型、あるいは計算コストの高いモデルを計画に活用できるようにすること。
• 正確な値を事前に計算するのではなく、境界に基づいて動的にコスト推定器を選択・実行することにより、計画の計算負荷を低減すること。
• 実行中に必要な精度とパフォーマンスのトレードオフに応じて、複数のモデリングレベルや推定器をサポートする計画フレームワークを構築すること。
• 具体的な実装、ASECを用いて、オンラインモデリングの実現可能性と利点を古典的計画において示すこと。

提案手法

• 計画プロセス中にアクセスされる度に、行動モデルを計算または生成するオンラインモデリングへの移行を提案する。
• 各行動に対して、精度と実行時間が異なる複数のコスト推定器を備えたフレームワークを導入し、真のコストの下限と上限を返す。
• 真のコストの境界のみを用いて、目標のサブ最適性乗数ε以内の計画を見つける計画問題を定義する。
• 累積コスト境界の比を用いて推定器の起動時機を決定する、ASEC（A* with Synchronous Estimations of Costs）アルゴリズムを開発する。
• Fast Downwardを拡張してASECを実装し、最小限のオーバーヘッドで動的推定を可能にし、計画の効率性を向上させる。
• 利用可能な境界を用いて計画コスト推定を精緻化するための、検索後の手続きを導入する。これにより、再実行なしに計画品質を向上できる。

実験結果

リサーチクエスチョン

• RQ1 計画の実行時に行動モデルの構築を遅延させることで、事前に定義されたものではなく、より適応的かつ効率的な計画が可能になるか？
• RQ2 データ駆動型のコスト推定器のような複雑なまたは学習済みのモデルを、高い事前処理コストを伴わずに古典的計画に効果的に統合できるか？
• RQ3 計画時間と解の品質の観点から、正確な行動コストと境界付き推定値の使用との間で、どのようなパフォーマンスのトレードオフが生じるか？
• RQ4 実行時間と解の品質の観点から、オンラインモデリングによる動的推定が、従来のオフラインモデリングを上回る条件は何か？
• RQ5 計画アルゴリズムは、探索中に複数のモデル精度レベルと動的モデル選択をサポートするように、どのように設計できるか？

主な発見

• ASECアルゴリズムは、正確な値の代わりにコスト境界を効果的に使用でき、動的推定を伴う計画を効率的かつ整合的に実行できる。
• ASECは、通常、目標のサブ最適性バッファεを満たしつつ、ベースライン手法よりも実行時間が短縮されている。これは実用的な効率性の向上を示している。
• 合成推定器を用いたベンチマークでの実験的評価から、オンラインモデリングのコストがオフラインモデリングよりも著しく低い場合には、動的モデリングが計算的に優位であることが示された。
• 本手法により、異なる精度と実行時間特性を持つ複数の推定器を活用でき、計画中に適応的なトレードオフを実現できる。
• 検索後の精緻化手順により、境界が利用可能な場合に計画コスト推定を向上させることができ、メイン探索の再実行なしに解の品質が向上する。
• 結果から、実際に実行される行動の数が、可能な行動の数に比べて著しく少ない場合、または平均的な実際の推定器実行時間が、利用可能な最良のオフライン推定器よりも著しく短い場合には、オンラインモデリングが有利であると示唆された。