[論文レビュー] Near-Optimal Multi-Agent Learning for Safe Coverage Control

Manish Prajapat, Matteo Turchetta+2 more|arXiv (Cornell University)|Oct 12, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、未知の環境密度および安全制約下での安全なカバレッジ制御のための新規なマルチエージェント強化学習アルゴリズム、SafeMaCを提案する。カバレッジを条件付き線形なサブモジュラ関数としてモデル化し、新しい探索・活用アルゴリズム（MaCOpt）と安全な探索拡張を組み合わせることで、安全保証付きで近似的最適なカバレッジを達成する。合成的および現実世界の生物多様性モニタリングタスクにおいて、ベースラインを上回る性能を示した。

ABSTRACT

In multi-agent coverage control problems, agents navigate their environment to reach locations that maximize the coverage of some density. In practice, the density is rarely known $ extit{a priori}$, further complicating the original NP-hard problem. Moreover, in many applications, agents cannot visit arbitrary locations due to $ extit{a priori}$ unknown safety constraints. In this paper, we aim to efficiently learn the density to approximately solve the coverage problem while preserving the agents' safety. We first propose a conditionally linear submodular coverage function that facilitates theoretical analysis. Utilizing this structure, we develop MacOpt, a novel algorithm that efficiently trades off the exploration-exploitation dilemma due to partial observability, and show that it achieves sublinear regret. Next, we extend results on single-agent safe exploration to our multi-agent setting and propose SafeMac for safe coverage and exploration. We analyze SafeMac and give first of its kind results: near optimal coverage in finite time while provably guaranteeing safety. We extensively evaluate our algorithms on synthetic and real problems, including a bio-diversity monitoring task under safety constraints, where SafeMac outperforms competing methods.

研究の動機と目的

• 密度と安全制約が事前に未知である状況におけるマルチエージェントカバレッジ制御の課題に対処すること。
• カバレッジ制御のNP困難性と、部分的に観測可能な環境における探索・活用のトレードオフを克服すること。
• 現実世界の展開において、深刻な失敗を防ぐために、探索中に安全を保証すること。
• 環境の学習と高いカバレッジの達成の両立を図る、サンプル効率の良いアルゴリズムを開発すること。
• 極端な天候制約下での生物多様性モニタリングを含む、現実世界の応用における有効性を実証すること。

提案手法

• 理論的解析と効率的最適化を可能にするために、カバレッジ目的を条件付き線形サブモジュラ関数としてモデル化すること。
• 制約なし設定において探索と活用をバランスさせ、サブ線形な累積レグルレーションを達成する新規なアルゴリズムMaCOptを提案すること。
• 単エージェント用の安全な探索アルゴリズム（GoOSE）をマルチエージェント設定に拡張し、安全なアクティブラーニングを可能にすること。
• MaCOptと安全な探索を統合して、環境を学習しながらも安全を保証するSafeMaCを構築すること。
• 未知の密度関数および安全制約関数をガウス過程でモデル化し、頑健性を高めるために学習されたハイパーパrameterを用いること。
• 各エージェントの意思決定ステップで、安全制約を満たすようにグリーディ選択を適用することにより、実行可能性とスケーラビリティを確保すること。

実験結果

リサーチクエスチョン

• RQ1 未知の密度と制約下で、近似的最適なカバレッジを達成すると同時に、安全を保証するマルチエージェント学習アルゴリズムを設計できるか？
• RQ2 カバレッジ目的が未知で、部分的に観測可能である状況において、探索と活用を効率的にバランスできるか？
• RQ3 安全なマルチエージェントカバレッジアルゴリズムの理論的性能保証（レグルレーションと収束性）はどのように定式化できるか？
• RQ4 提案手法SafeMaCは、最先端手法と比較して、サンプル効率性とカバレッジ品質の点で優れているか？
• RQ5 より大きな領域やより多くのエージェントに対して、安全と性能を維持したまま効果的にスケーリングできるか？

主な発見

• SafeMaCは、有限時間内に近似的最適なカバレッジを達成するとともに、安全保証を明示的に満たす。これは、マルチエージェント安全カバレッジ設定において、初めての理論的結果である。
• 制約なし設定において、MaCOptはサブ線形な累積レグルレーションを達成し、UCBベースのベースラインよりも収束性と最終的なカバレッジ値で優れた性能を示した。
• 生物多様性モニタリングタスクにおいて、SafeMaCはPassiveMaCおよび二段階法を上回り、より少ないサンプル数でより優れた解を発見し、安全でない領域の探索を回避した。
• SafeMaCは、ドメインサイズ（30×30から60×60）およびエージェント数（3から15）の変動に対してもスケーラブルであり、高いパフォーマンスとサンプル効率性を維持した。
• ハイパーパrameterの選択に対して頑健であり、異なるGPハイパーパrameterおよび環境インスタンスにおいて一貫した結果を示した。
• 障害物が豊富な環境においても、SafeMaCは制約を効率的に処理し、二段階法と同等のカバレッジを達成したが、はるかに少ない探索量で実現した。