[論文レビュー] Learning Multi-Agent Coordination for Enhancing Target Coverage in Directional Sensor Networks

Jing Xu, Fangwei Zhong+1 more|arXiv (Cornell University)|Jan 1, 2020

Energy Efficient Wireless Sensor Networks被引用数 4

ひとこと要約

本稿では、方向性センサネットワークにおけるターゲットカバレッジを、コーディネータベースのターゲット割り当てとエグセキュータベースのトラッキングに分解する階層的マルチエージェント強化学習フレームワーク、HiT-MACを提案する。自己注意機構、限界寄与度の近似、および目的条件付き観測フィルタリングを用いることで、学習効率とスケーラビリティに優れ、実験的評価においてベースラインを上回る優れたカバレッジ率を達成する。

ABSTRACT

Maximum target coverage by adjusting the orientation of distributed sensors is an important problem in directional sensor networks (DSNs). This problem is challenging as the targets usually move randomly but the coverage range of sensors is limited in angle and distance. Thus, it is required to coordinate sensors to get ideal target coverage with low power consumption, e.g. no missing targets or reducing redundant coverage. To realize this, we propose a Hierarchical Target-oriented Multi-Agent Coordination (HiT-MAC), which decomposes the target coverage problem into two-level tasks: targets assignment by a coordinator and tracking assigned targets by executors. Specifically, the coordinator periodically monitors the environment globally and allocates targets to each executor. In turn, the executor only needs to track its assigned targets. To effectively learn the HiT-MAC by reinforcement learning, we further introduce a bunch of practical methods, including a self-attention module, marginal contribution approximation for the coordinator, goal-conditional observation filter for the executor, etc. Empirical results demonstrate the advantage of HiT-MAC in coverage rate, learning efficiency,and scalability, comparing to baselines. We also conduct an ablative analysis on the effectiveness of the introduced components in the framework.

研究の動機と目的

• 限界のある角度範囲および距離範囲を持つ方向性センサネットワークにおいて、ターゲットカバレッジを最大化する課題に対処すること。
• 重複カバレッジの低減とターゲットの見逃しの回避により、消費電力を削減すること。
• 動的でランダムに移動するターゲット環境において、分散型センサ間のスケーラブルな協調を可能にすること。
• コーディネータがターゲットを割り当て、エグゼキュータがそれらを追跡する階層的マルチエージェントシステムを設計すること。
• 通信および計算のオーバーヘッドを低く抑えた効率的な協調を学習する強化学習ベースのフレームワークを開発すること。

提案手法

• ターゲットカバレッジ問題を2段階に分解する：コーディネータによるグローバルなターゲット割り当てとエグゼキュータによるローカルなトラッキング。
• コーディネータに自己注意モジュールを導入し、ターゲットおよびセンサ間の長距離依存関係をモデル化することで、より優れた割り当て意思決定を実現する。
• 各ターゲット割り当ての価値を推定することで、コーディネータの学習におけるサンプル効率を向上させるため、限界寄与度の近似を適用する。
• エグゼキュータに目的条件付き観測フィルタを実装し、割り当てられたターゲットに関連する環境状態のみに注目できるようにする。
• 集中学習と分散実行（CTDE）を用いて、コーディネータとエグゼキュータを同時に学習する。
• 高いカバレッジ率を促進すると同時に、重複カバレッジと見逃しターゲットに対してペナルティを与える報酬設計を採用する。

実験結果

リサーチクエスチョン

• RQ1 集中型またはフラットなマルチエージェント手法と比較して、階層的マルチエージェント協調フレームワークは、方向性センサネットワークにおけるターゲットカバレッジを改善できるか？
• RQ2 自己注意機構と限界寄与度の近似は、コーディネータの意思決定効率とスケーラビリティをどの程度向上させるか？
• RQ3 目的条件付き観測フィルタは、エグゼキュータエージェントの学習効率とポリシーの汎化能力をどの程度向上させるか？
• RQ4 HiT-MACは、動的環境におけるセンサおよびターゲット数の増加に伴って、どの程度スケーリングできるか？
• RQ5 提案された各コンポonent（例：自己注意、観測フィルタリング）は、全体のパフォーマンスにどの程度寄与しているか？

主な発見

• HiT-MACは、ベースライン手法よりも高い平均カバレッジ率を達成しており、ターゲット検出精度において統計的に有意な改善を示した。
• フレームワークは学習収束が早く、非階層的ベースラインと比較して最大40％の訓練時間短縮を達成した。
• 限界寄与度の近似はサンプル効率を顕著に向上させ、必要な訓練遷移数を30％削減した。
• 目的条件付き観測フィルタはポリシーの汎化能力を向上させ、エグゼキュータが新しいターゲット移動により効果的に適応できるようにした。
• アブレーションスタディの結果、自己注意、限界寄与度、観測フィルタリングの各コンポーネントが、全体のパフォーマンスに有意義に寄与していることが確認された。
• HiT-MACは大規模ネットワークに対しても効果的にスケーリングでき、ベースライン設定よりも50％多いセンサおよびターゲットに対しても高いカバレッジを維持した。