[論文レビュー] Distributed coverage games for mobile visual sensor networks

Minghui Zhu, Sonia Martı́nez|arXiv (Cornell University)|Feb 1, 2010

Distributed Control Multi-Agent Systems参考文献 21被引用数 15

ひとこと要約

本稿は、移動型ビジュアルセンサネットワークの分散型カバレッジ最適化問題を、制約付きポテンシャルゲームとして定式化し、各センサが自らのカバレッジを向上させるとともに処理コストを最小化するように自律的に動作する。処理コストを最小化しながら、局所的な利得と行動記憶のみを用いて、確率的収束を示す2つの報酬ベースの学習アルゴリズムを提案し、未知の報酬を持つ動的環境においても分散型で低コストな運用を実現する。

ABSTRACT

Motivated by current challenges in data-intensive sensor networks, we formulate a coverage optimization problem for mobile visual sensors as a (constrained) repeated multi-player game. Each visual sensor tries to optimize its own coverage while minimizing the processing cost. We present two distributed learning algorithms where each sensor only remembers its own utility values and actions played during the last plays. These algorithms are proven to be convergent in probability to the set of (constrained) Nash equilibria and global optima of certain coverage performance metric, respectively.

研究の動機と目的

• 高い処理コストを伴う移動型ビジュアルセンサネットワークにおける分散型カバレッジ最適化の課題に対処すること。
• センサが自らのコストを最小化しつつカバレッジを最大化するように自己利益的に行動する制約付きマルチプレイヤーゲームとして、センシング利得とコストのトレードオフをモデル化すること。
• 過去の行動と利得の局所的記憶のみを必要とする分散型学習アルゴリズムを設計し、グローバルな利得フィードバックに依存しないようにすること。
• やや緩い仮定の下で、学習ダイナミクスがナッシュ均衡およびグローバル最適解にほとんど確実に収束することを証明すること。
• 徐々に探索率を小さくする非一様マルコフ連鎖に報酬ベースの学習を拡張し、確率的設定下での収束を可能にすること。

提案手法

• ナッシュ均衡の存在を保証する制約付きポテンシャルゲームとしてカバレッジ問題を定式化する。
• センサが自らの過去の利得と行動履歴に基づいて行動を更新する、2つの分散型報酬ベースの学習アルゴリズムを導入する。
• 時間に依存する探索率を用いることで非一様マルコフ連鎖を構築し、i.i.d.仮定を超えた収束解析を可能にする。
• 確率的安定性理論と抵抗ツリー解析を用いて、学習プロセスの長期的挙動を特徴付ける。
• 定常分布への収束を証明するために、混合係数および弱/強定常性条件を適用する。
• 摂動理論と確率的ポテンシャルを活用し、学習ダイナミクスの極限としての確率的安定状態の集合を同定する。

実験結果

リサーチクエスチョン

• RQ1 局所的な利得と行動記憶のみを用いた分散型学習アルゴリズムは、移動型ビジュアルセンサネットワークにおいて、ナッシュ均衡に収束することができるか？
• RQ2 時間的に変化する探索率を持つ非一様マルコフ連鎖に、報酬ベースの学習をどのように適応させることができるか？
• RQ3 カバレッジ性能指標のグローバル最適解への確率的収束を保証する条件は何か？
• RQ4 徐々に小さくなる探索率の導入は、学習プロセスの定常性および長期的挙動にどのように影響を与えるか？
• RQ5 提案された学習ダイナミクス下で、どの均衡が確率的安定であり、それらが最適カバレッジ構成とどのように関係するか？

主な発見

• 提案された学習アルゴリズムは、(制約付き)ナッシュ均衡の集合に確率的に収束し、単一のプレイヤーの一方的行動変更に対して安定であることが保証される。
• 時間に依存する非一様マルコフ連鎖モデルを用いることで、定常探索率の代替手法よりも収束特性が向上することが示された。
• 弱定常性、不変測度の存在、固有ベクトルの変動のsummability条件を満たす条件下で、学習ダイナミクスが強定常性を示すことが証明された。
• 確率的安定状態（学習プロセスの極限として同定された状態）は、最小の確率的ポテンシャルを持つものであり、最適または近似的に最適なカバレッジ構成に対応する。
• フレームワークにより、センサがグローバルな利得関数や他のセンサの過去の行動を知らなくても、分散型運用が可能になる。
• 理論的解析により、学習プロセスが初期状態を漸近的に忘れ、最適均衡に支持される一意の極限分布に収束することが確認された。