[論文レビュー] Robust Multiple-Path Orienteering Problem: Securing Against Adversarial Attacks

Guangyao Shi, Lifeng Zhou+1 more|arXiv (Cornell University)|Mar 31, 2020

Robotic Path Planning Algorithms参考文献 36被引用数 5

ひとこと要約

本稿では、最大α台のロボットを標的とする攻撃に対して全チームのパフォーマンスのレジリエンスを保証するため、ロバストなマルチパスオリエンティアリング問題（RMOP）を導入する。単一ロボットオリエンティアリングのサブルーチンを用いた、保証付きの近似フレームワーク（オフライン）と、2人称逐次ゲームとして定式化されたモンテカルロツリー探索（MCTS）によるオンラインソリューションを提案し、海洋およびトンネルモニタリングタスクにおけるシミュレーション研究で、知能的な敵対的攻撃に対し優れたレジリエンスを示した。

ABSTRACT

The multiple-path orienteering problem asks for paths for a team of robots that maximize the total reward collected while satisfying budget constraints on the path length. This problem models many multi-robot routing tasks such as exploring unknown environments and information gathering for environmental monitoring. In this paper, we focus on how to make the robot team robust to failures when operating in adversarial environments. We introduce the Robust Multiple-path Orienteering Problem (RMOP) where we seek worst-case guarantees against an adversary that is capable of attacking at most $α$ robots. We consider two versions of this problem: RMOP offline and RMOP online. In the offline version, there is no communication or replanning when robots execute their plans and our main contribution is a general approximation scheme with a bounded approximation guarantee that depends on $α$ and the approximation factor for single robot orienteering. In particular, we show that the algorithm yields a (i) constant-factor approximation when the cost function is modular; (ii) $\log$ factor approximation when the cost function is submodular; and (iii) constant-factor approximation when the cost function is submodular but the robots are allowed to exceed their path budgets by a bounded amount. In the online version, RMOP is modeled as a two-player sequential game and solved adaptively in a receding horizon fashion based on Monte Carlo Tree Search (MCTS). In addition to theoretical analysis, we perform simulation studies for ocean monitoring and tunnel information-gathering applications to demonstrate the efficacy of our approach.

研究の動機と目的

• マルチロボット情報収集タスクにおいて、最大α台のロボットが敵対的攻撃や故障によって無効化された場合でも、チーム全体のパフォーマンスを維持する課題に対処すること。
• 個々のロボットの故障耐性に依存するのではなく、最悪事態の下でもパフォーマンスを保証するレジリエントプランニングフレームワークを構築すること。
• RMOPを2つの設定でモデル化・解決すること：オフライン（実行中は通信なし）とオンライン（適応的で、再発行ホライズンプランニングを伴う動的再計画）。
• 海洋モニタリングやトンネル探査などの実世界シナリオにおけるシミュレーションを通じて、知能的な攻撃者に対するレジリエントプランニング戦略の有効性を評価すること。
• 提案されたMCTSベースのオンライン戦略をベースライン手法と比較し、敵対的状況下での優れたパフォーマンスを示すこと。

提案手法

• 単一ロボットオリエンティアリングの保証付き近似アルゴリズムをサブルーチンとして用いる一般化近似スキームとして、オフラインRMOPを定式化する。
• 逐次的グリーディー割り当てフレームワークを適用し、α台のロボットが故障した場合の最悪ケース性能保証を満たすように、パスをロボット間で分配する。
• 近似境界を導出：報酬関数がモジュラーの場合には定数要因、サブモジュラー関数の場合には対数要因、サブモジュラー関数でパス長の上限超過を許容する場合には定数要因。
• オンラインRMOPをロボットと攻撃者との間の2人称逐次ゲームとしてモデル化し、両者ともモンテカルロツリー探索（MCTS）を用いて適応的に行動を選択する。
• オンライン設定では、再発行ホライズン戦略を実装し、観測された攻撃者の行動と更新された信念に基づいてロボットが再計画を行う。
• 攻撃者の行動をモデル化したMCTSを用いて攻撃行動をシミュレートし、攻撃を予測・対抗するレジリエントなロボット計画を生成する。

実験結果

リサーチクエスチョン

• RQ1 最大α台のロボットが敵対的に無効化された場合でも、バウンデッドなパフォーマンス比を保証するマルチロボットパスプランニングアルゴリズムをどのように設計できるか？
• RQ2 報酬関数がモジュラー、サブモジュラー、またはサブモジュラーでパス長の上限超過を許容する場合に、オフラインRMOPで達成可能な近似保証は何か？
• RQ3 知能的な攻撃者行動を想定した場合、MCTSを用いたオンラインRMOPプランニングのパフォーマンスは、非適応的または非敵対的プランニング戦略と比べてどうなるか？
• RQ4 攻撃者をモデル化したMCTSベースのオンラインプランニングは、潜在的な障害や攻撃を無視する標準MCTSよりも優れたパフォーマンスを示せるか？
• RQ5 提案されたレジリエントプランニングフレームワークは、海洋モニタリングや地下トンネル探索のような現実的な敵対的環境において、チーム全体の報酬収集をどの程度維持できるか？

主な発見

• オフラインRMOPアルゴリズムは、モジュラー報酬関数の場合に定数要因の近似を達成し、一般のサブモジュラー関数では対数要因の近似を達成し、サブモジュラー報酬が許容可能なパス長超過を伴う場合には定数要因の近似を達成した。
• 海洋モニタリングおよびトンネル探査におけるシミュレーション研究では、攻撃者をモデル化したMCTSベースのオンラインRMOPアプローチが、非敵対的MCTS戦略よりも顕著に高い平均報酬を達成した。
• 攻撃者がMCTSを用いていた場合、同じ攻撃者MCTS戦略を採用したロボット（図11のオранジーバー）は、標準MCTSを使用したロボット（ブルーバー）よりも高い平均報酬を達成し、事前に攻撃者を想定する戦略的思考の価値を示した。
• 攻撃回数が増加するにつれて、レジリエント戦略と非レジリエント戦略のパフォーマンス差が拡大したため、攻撃の圧力が高まる状況下でも本手法のレジリエンスが確認された。
• 攻撃者がランダム戦略を採用していた場合、ロボットはより高い平均報酬を達成しており、レジリエントMCTS戦略が非最適な敵対者に対しても有効であることが示された。
• 図10のシミュレーション結果から、攻撃者がロボットの軌道を観測した後、高報酬ノード（例：ノード25）を戦略的に標的としていたことが明らかになった。これにより、モデルに事前に攻撃者を想定する計画の重要性が裏付けられた。