[論文レビュー] An Optimal Control Approach to the Persistent Monitoring Problem

Christos G. Cassandras, Xuchao Lin+1 more|arXiv (Cornell University)|Feb 28, 2012

Distributed Control Multi-Agent Systems参考文献 20被引用数 3

ひとこと要約

本稿は、1次元のミッション空間における移動型エージェントを用いた持続的モニタリングのための最適制御フレームワークを提案する。不確実性を動的キューイングシステムとしてモデル化し、スイッチング点と待機時間に関するパrametric最適化に問題を還元する。無限小パラメータ摂動分析（IPA）を用いた勾配ベース最適化を適用し、エージェントが端点を避けるべきであり、代わりに内部の位置でスイッチングすることで、時間全体にわたる総不確実性を最小化できることを示している。

ABSTRACT

We propose an optimal control framework for persistent monitoring problems where the objective is to control the movement of mobile nodes to minimize an uncertainty metric in a given mission space. For multi agent in a one-dimensional mission space, we show that the optimal solution is obtained in terms of a sequence of switching locations and waiting time on these switching points, thus reducing it to a parametric optimization problem. Using Infinitesimal Perturbation Analysis (IPA) we obtain a complete solution through a gradient-based algorithm. We also discuss a receding horizon controller which is capable of obtaining a near-optimal solution on-the-fly.

研究の動機と目的

• 動的変化する環境をモニタリングする移動型エージェントによって蓄積される不確実性を最小化する制御戦略の開発。
• センシングおよび移動制約を満たしつつ、すべての領域が無限回以上訪問されるようにエージェントの移動をバランスさせる課題に対処すること。
• 複雑な最適制御問題を、スイッチング位置と滞在時間のパrametric最適化に還元すること。
• 再帰的ホライズン制御を用いて、近似的最適性能を達成するリアルタイム制御を可能にすること。
• 最適軌道が全速力走行、内部点でのスイッチング、および非ゼロの待機時間を含む条件を理論的に確立すること。

提案手法

• 1次元ミッション空間における持続的モニタリング問題を、時間積分された不確実性指標の最小化として定式化する。
• 不確実性の増大と低減をキューイングプロセスとしてモデル化し、エージェントをサンプリングポイントを訪問するサーバーとして扱う。
• 最適制御問題をスイッチング点 $\theta_k$ と待機時間 $w_k$ に関するパrametric最適化に還元する。
• 一般化された無限小パラメータ摂動分析（IPA）を用いて、コスト関数のパrameterに関する勾配を計算する。
• Armijo線探索を用いた勾配ベースのアルゴリズムにより、繰り返しスイッチング位置と待機時間を更新する。
• 再帰的ホライズン制御を構築し、有限ホライズン問題の逐次解法により、リアルタイムで近似的最適制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 動的不確実性を伴う1次元環境をモニタリングする1台のエージェントの最適軌道構造は何か？
• RQ2 最適制御問題をスイッチング点と待機時間に関するパrametric最適化に還元する方法は何か？
• RQ3 持続的モニタリングの文脈において、不連続な動的特性を示すハイブリッドシステムに対して、IPAを効果的に用いて勾配を計算できるか？
• RQ4 最適解においてエージェントがミッション空間の境界点を避ける条件は何か？
• RQ5 センシング効果性 $A_i(t)$ が時間とともに確率的に変動する環境において、IPAベース最適化のロバストネスはいかがなものか？

主な発見

• 各エージェントの最適軌道は、スイッチング点への全速力走行、非負の待機時間、その後の方向転換から成り、ミッション空間の境界点に到達することはない。
• スイッチング点と待機時間の最適選択により、総不確実性コストが顕著に低減され、1エージェントおよび2エージェントの両シナリオでその低減が確認された。
• 20個のサンプリングポイントを有する1エージェントケースにおいて、区間 $[0,20]$ 全体にアクセス可能な場合の最適コスト $J^* = 17.77$ であるのに対し、$[4,16]$ に制限された場合の最適コストは $J^* = 39.14$ にまで上昇した。
• センシング効果性 $A_i(t)$ が時間とともに確率的に変動する確率的環境下でも、IPAベースのアルゴリズムは $J^* = 17.54$ に近似的最適解に収束し、そのロバストネスを示した。
• Armijoステップサイズを用いた場合、非滑らか関数を伴う確率的ケースにおいても、約10〜15秒で収束することが示され、計算上の実行可能性が裏付けられた。
• 特にセンシング範囲が境界付近で制限される場合に、シミュレーションによりスイッチング点での正の待機時間が明確に確認された。