[論文レビュー] Optimal control with budget constraints and resets

Ryo Takei, Weiyan Chen+3 more|arXiv (Cornell University)|Oct 28, 2011

Markov Chains and Monte Carlo Methods被引用数 2

ひとこと要約

本稿では、好ましい状態に到達すると完全にリセットされる固定予算制約下のシステムに対して、拡張されたPDEと反復アルゴリズムを用いて離散的および連続的問題を統一的に扱う、新しい最適制御フレームワークを提案する。主な貢献は、予算制約環境における最適方策の計算を数値的に効率的に行う手法であり、可視性制約付きパスプランニングの応用で実証されている。

ABSTRACT

Abstract. We consider both discrete and continuous control problems constrained by a fixed budget of some resource, which may be renewed upon entering a preferred subset of the state space. In the discrete case, we consider both deterministic and stochastic shortest path problems with full budget resets in all preferred nodes. In the continuous case, we derive augmented PDEs of optimal control, which are then solved numerically on the extended state space with a full/instantaneous budget reset on the preferred subset. We introduce an iterative algorithm for solving these problems efficiently. The method’s performance is demonstrated on a range of computational examples, including the optimal path planning with constraints on prolonged visibility by a static enemy observer. In addition, we also develop an algorithm that works on the original state space to solve a related but simpler problem: finding the subsets of the domain “reachable-within-the-budget”. Section 1. Introduction. Dynamic programming provides a convenient framework for finding provably “optimal ” strategies to control both discrete and continuous systems. The optimality is usually defined with respect to a single criterion or cost (e.g., money, or fuel, or time needed to implement each particular control).

研究の動機と目的

• 固定予算制約と好ましい状態での完全リセットを伴う最適制御の統一的フレームワークの構築。
• 動的計画法を、離散的および連続的設定の両方でリソースの再生成を扱えるように拡張すること。
• 観察者が長時間可視化を維持する必要がある複雑なパスプランニング問題の解決。
• 拡張された最適制御問題を数値的に効率的に解く反復アルゴリズムの設計。
• 元の状態空間における予算到達可能集合を特定する手法の提供。これは、予算を明示的に追跡しない簡易な補助問題として有用である。

提案手法

• 好ましいノードで完全な予算リセットが行われる確率的最短経路問題として、離散的最適制御問題を定式化する。
• 状態空間の好ましい部分集合上で即座に予算リセットが行われる連続的最適制御のための拡張された偏微分方程式（PDE）を導出する。
• 予算を追加次元として含む拡張状態空間上で、拡張PDEを数値的に解く。
• 予算制約下での価値関数と最適制御方策を効率的に計算する反復アルゴリズムを導入する。
• 予算を明示的に追跡しないで、元の状態空間上で動作する別個のアルゴリズムを開発し、予算内での到達可能領域を特定する。
• 最適戦略の証明可能な最適性を保証するために、拡張状態空間上で動的計画法の原則を適用する。

実験結果

リサーチクエスチョン

• RQ1 離散的システムにおいて、固定予算制約と好ましい状態での完全リセットを伴う最適制御をどのように定式化できるか。
• RQ2 状態空間の部分集合上で即座に予算リセットが行われる連続的最適制御をモデル化するには、どのようなPDE定式化が必要か。
• RQ3 実際の応用において、拡張PDEを効率的かつ正確に解くにはどうすればよいか。
• RQ4 提案された反復アルゴリズムは、複雑な予算制約付き制御問題を解く際にどの程度の性能を示すか。
• RQ5 予算状態を完全に追跡しないで、到達可能領域を特定する簡易なアルゴリズムを設計できるか。

主な発見

• 提案手法は、可視性制約付きパスプランニングを含む複雑な状況においても、完全なリセットを伴う予算制約下での最適制御方策を的確に計算できる。
• 拡張PDEフレームワークにより、即座の予算リセットを伴う連続的最適制御問題の正確な数値的解法が可能になった。
• 反復アルゴリズムは、可視性制約付きパスプランニングを含む計算例において、効率的な収束性とスケーラビリティを示した。
• 補助アルゴリズムは、予算内での到達可能集合を正しく特定でき、大規模問題の前処理として有用なステップを提供した。
• 本フレームワークは一般性を有し、予算リセットを伴う決定論的および確率的制御問題に適用可能である。
• 数値結果から、制約下でも最適またはほぼ最適の性能が達成されていることが確認された。