[論文レビュー] Anytime computation algorithms for approach-evasion differential games

Erich Mueller, Minghui Zhu+2 more|arXiv (Cornell University)|Aug 6, 2013

Robotic Path Planning Algorithms参考文献 23被引用数 5

ひとこと要約

本稿では、アプローチ・イーベーション微分ゲームに対する、インクリメンタルサンプリングとバイアビリティ理論を活用した、新たないつでも計算（anytime）アルゴリズムiGameおよびiGame∗を提案する。従来のマルチグリッド法と比較して、収束速度が速く、計算効率が優れている。アルゴリズムは時間の経過とともに政策の質を動的に向上させ、数値シミュレーションにおける殺人運転手ゲームの設定では、iGame∗がiGameおよびマルチグリッドベースラインを著しく上回る性能を示した。

ABSTRACT

This paper studies a class of approach-evasion differential games, in which one player aims to steer the state of a dynamic system to the given target set in minimum time, while avoiding some set of disallowed states, and the other player desires to achieve the opposite. We propose a class of novel anytime computation algorithms, analyze their convergence properties and verify their performance via a number of numerical simulations. Our algorithms significantly outperform the multi-grid method for the approach-evasion differential games both theoretically and numerically. Our technical approach leverages incremental sampling in robotic motion planning and viability theory.

研究の動機と目的

• 時間変動する計算リソースと不確実な環境を有する情報物理システムにおいて、安全で最適な制御則を合成する課題に対処すること。
• 特に収束が遅く、動的環境での柔軟性に欠けるため、アプローチ・イーベーション微分ゲームを解く際の固定グリッド法およびマルチグリッド法の限界を克服すること。
• 計算時間が増えるにつれて、速やかに実行可能な解を返し、次第に最適性を向上させる「いつでも計算」アルゴリズムを開発すること。
• 漸近的収束と計算効率を保証することで、安全で重要なシステムにおけるリアルタイム・オンライン制御合成を可能にすること。

提案手法

• iGameアルゴリズムは、インクリメンタルサンプリングを用いて、連続的な微分ゲームの離散的時間、状態空間、入力空間の近似を構築し、各イテレーションで状態値を非同期に更新する。
• その際、ハミルトニアンの判別核を用いてバイアビリティ理論を適用し、最適値関数を特徴づけ、すべての初期状態に対して形式的な収束を保証する。
• iGame∗のバリアントでは、直前のイテレーションで子ノードの推定値が変化した状態サンプルのみを更新するキャスケード更新ルールを導入し、計算効率を向上させる。
• 両アルゴリズムとも、マルチグリッド法と同等の漸近的収束保証を維持しているが、非同期的かついつでも計算可能なアプローチにより、より速い収束を達成している。
• 値関数の近似を用いて、各状態で離散的入力集合に対する1ステップ最小最大化最適化によりフィードバック制御則を導出する。
• 200×200グリッドベンチマークと比較するため、定義された力学的制約を有する2次元殺人運転手ゲームを用いたシミュレーションを実施している。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタルサンプリングとバイアビリティ理論を組み合わせることで、収束保証が保証され、計算効率が向上する、アプローチ・イーベーション微分ゲームのいつでも計算アルゴリズムを構築できるか？
• RQ2 提案されたいつでも計算アルゴリズムの収束速度は、古典的なマルチグリッド法と比較して、近似誤差および計算時間の観点でどの程度優れているか？
• RQ3 iGame∗における非同期的かつキャスケード更新メカニズムは、収束保証を損なわず、計算パフォーマンスをどの程度向上させるか？
• RQ4 iGame∗のいつでも性質は、早期の実行可能解が極めて重要な動的環境において、効果的なオンライン政策改善を可能にするか？

主な発見

• iGameはマルチグリッド法よりも収束が速く、対数スケールの誤差曲線から、時間の経過とともに近似誤差がより速く減少することが示された。
• iGame∗は、iGameおよびマルチグリッド法の両方と比較して著しく速い収束を達成し、目標誤差レベルに到達するまでの時間を複数桁短縮した。
• 誤差が0.04に達するまでの平均計算時間が、iGameおよびマルチグリッド法と比較して顕著に低く抑えられており、その優れた効率性が裏付けられた。
• 数値シミュレーションでは、iGame∗がいつでも性質を維持していることが示された。少数のサンプルでも実行可能な政策を提供し、時間の経過とともに継続的に改善され、タイムアウトの発生が減少した。
• 追跡者がiGame∗、回避者が固定50×50グリッドを使用する場合、捕獲が可能なほぼすべての状態で捕獲が達成され、かつ、以前はタイムアウトに終わった状態も、政策の改善に伴い次第に捕獲されるようになった。
• iGame∗における値関数近似の進行を観察すると、サンプル点の数が急速に増加し、効率的な収束が達成されていることが示され、有効な探索と更新戦略であることが裏付けられた。