[論文レビュー] Motion Planning via Optimal Control for Stochastic Processes

Peyman Mohajerin Esfahani, Debasish Chatterjee+1 more|arXiv (Cornell University)|Nov 6, 2012

Stochastic processes and financial applications参考文献 21被引用数 3

ひとこと要約

本稿は、不連続なパスをとる制御過程を伴う確率的運動計画に対して、弱い動的計画法（DPP）を提案する。これにより、順次的ターゲット訪問と障害物回避が可能となる。主な貢献は、所定の確率で望ましい操作を達成できる初期状態の集合を、再帰的に定義された境界条件を持つPDEの系列の不連続な粘性解のレベル集合として特徴づけることにある。

ABSTRACT

We study stochastic motion planning problems which involve a controlled process, with possibly discontinuous sample paths, visiting certain subsets of the state-space while avoiding others in a sequential fashion. For this purpose, we first introduce two basic notions of motion planning, and then establish a connection to a class of stochastic optimal control problems concerned with sequential stopping times. A weak dynamic programming principle (DPP) is then proposed, which characterizes the set of initial states that admit a policy enabling the process to execute the desired maneuver with probability no less than some pre-specified value. The proposed DPP comprises auxiliary value functions defined in terms of discontinuous payoff functions. A concrete instance of the use of this novel DPP in the case of diffusion processes is also presented. In this case, we establish that the aforementioned set of initial states can be characterized as the level set of a discontinuous viscosity solution to a sequence of partial differential equations, for which the first one has a known boundary condition, while the boundary conditions of the subsequent ones are determined by the solutions to the preceding steps. Finally, the generality and flexibility of the theoretical results are illustrated on an example involving biological switches.

研究の動機と目的

• 不連続なサンプルパスをとるシステムにおける確率的運動計画を扱う。プロセスは障害領域を避けるとともに、ターゲット部分集合を順次訪問する必要がある。
• 特に確率的保証を重視して、確率的文脈における運動計画の2つの基本的概念を形式化する。
• 順次的な停止時刻を含む確率的最適制御問題と運動計画の間の関係を確立する。
• 望ましい操作を確率的に少なくとも所定のしきい値以上に成功させる初期状態を特徴づける弱いDPPを構築する。
• 生物学的スイッチモデルへの応用を通じて、本手法の一般性を示す。複雑なシステムにおける柔軟性を実証する。

提案手法

• 不連続な報酬関数によって定義される補助価値関数を組み込んだ、弱い動的計画法（DPP）を導入する。
• 運動計画問題を、停止時刻を伴う確率的最適制御問題の系列としてモデル化し、順次的ターゲット訪問を保証する。
• DPPを拡散過程に適用し、再帰的に定義された境界条件を持つ偏微分方程式（PDE）の系を導出する。
• 望ましい操作を成功させる初期状態の集合を、PDE系の不連続な粘性解のレベル集合として特徴づける。
• 報酬関数および境界条件の不連続性に対処するために、粘性解理論を用いる。
• 再帰的解法ステップを採用：最初のPDEは既知の境界条件を持つ。以降のPDEの境界条件は、直前のステップの解から得られる。

実験結果

リサーチクエスチョン

• RQ1 不連続なサンプルパスをとる確率的過程に対して、どのように運動計画を定式化できるか。特に、順次的ターゲット訪問と障害物回避を保証できるか。
• RQ2 確率的制約下で望ましい操作を実行可能な初期状態を特徴づける際、順次的な停止時刻が果たす役割は何か。
• RQ3 報酬関数および境界条件が不連続である場合、どのように弱い動的計画法を構築できるか。
• RQ4 拡散過程の文脈において、望ましい操作を実行可能な初期状態の集合を数学的にどのように特徴づけられるか。
• RQ5 提案されたDPPフレームワークは、生物学的スイッチのような複雑なシステムへどの程度応用可能か。

主な発見

• 所定の確率しきい値以上に望ましい操作を実行可能な初期状態の集合は、境界条件が再帰的に定義されたPDEの系列の不連続な粘性解のレベル集合として特徴づけられる。
• この系列における最初のPDEは既知の境界条件を持つが、以降のPDEの境界条件は、直前の方程式の解から再帰的に導出される。
• 粘性解の使用により、報酬関数の不連続性を適切に扱い、非滑らかさにもかかわらず数学的厳密性を保証する。
• 本フレームワークは、生物学的スイッチダイナミクスへの応用を通じて、複雑なシステムのモデル化に十分な一般性を持つことが示された。
• 理論的結果により、サンプルパスが不連続であっても、不確実性下での運動計画における実行可能な初期状態を体系的に計算する手法が得られる。
• PDE系の再帰的構造により、確率的環境下での順次的運動計画タスクのスケーラブルな解析が可能となる。