[論文レビュー] Certifiably Robust Policy Learning against Adversarial Communication in Multi-agent Systems

Yanchao Sun, Ruijie Zheng+5 more|arXiv (Cornell University)|Jun 21, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、敵対的通信に対して証明可能に頑健な防御であるAblated Message Ensemble（AME）を提案する。複数のメッセージ部分集合を抜粋して行動を集約することで、最大 $ C < \frac{N-1}{2} $ 個のメッセージが改ざんされても、ポリシーの頑健性を保証する。悪意のない通信においても高い性能を維持する。この手法は攻撃戦略に依存しない理論的保証を提供する。

ABSTRACT

Communication is important in many multi-agent reinforcement learning (MARL) problems for agents to share information and make good decisions. However, when deploying trained communicative agents in a real-world application where noise and potential attackers exist, the safety of communication-based policies becomes a severe issue that is underexplored. Specifically, if communication messages are manipulated by malicious attackers, agents relying on untrustworthy communication may take unsafe actions that lead to catastrophic consequences. Therefore, it is crucial to ensure that agents will not be misled by corrupted communication, while still benefiting from benign communication. In this work, we consider an environment with $N$ agents, where the attacker may arbitrarily change the communication from any $C&lt;\frac{N-1}{2}$ agents to a victim agent. For this strong threat model, we propose a certifiable defense by constructing a message-ensemble policy that aggregates multiple randomly ablated message sets. Theoretical analysis shows that this message-ensemble policy can utilize benign communication while being certifiably robust to adversarial communication, regardless of the attacking algorithm. Experiments in multiple environments verify that our defense significantly improves the robustness of trained policies against various types of attacks.

研究の動機と目的

• 敵対的通信によってエージェントが危険な行動をとる可能性があるという、マルチエージェント強化学習における重要な安全性のギャップを埋めること。
• 最大 $ C < \frac{N-1}{2} $ 個のメッセージを改ざんできる、強力で適応的な攻撃者に対しても頑健性を保証する防御機構を開発すること。
• 悪意のない通信においても高い性能を維持しながら、敵対的状況下での理論的頑健性を確保すること。
• 敵対的訓練やヒューリスティクスに依存しない、数学的保証を提供する証明可能な防御を提供すること（実験的防御とは異なり、保証が得られる）。

提案手法

• 複数のランダムに選択されたメッセージ部分集合からの行動を集約するメッセージ・エンsemblesポリシーを提案する。
• $ N-1 $ 個のエージェントから $ k $ 個のランダムに選択されたメッセージに基づいて基本行動を出力するメッセージ・アンブレーションポリシーを学習する。
• 複数のアンブレーション済みメッセージ集合からの行動を平均または投票することで最終ポリシーを構築し、最大 $ C $ 個の改ざん済みメッセージに対しても頑健性を確保する。
• 理論的分析により、$ k \geq \frac{C}{2} + 1 $ を満たす場合、少なくとも1つのアンブレーション済み集合に悪意のないメッセージの過半数が含まれることを証明し、証明可能な頑健性を示す。
• アンブレーションの前段階で、行動バイアスを用いた後処理の敵対的メッセージ検出手法を導入し、悪意のあるメッセージをフィルタリングすることで $ k $ を大きくし、自然な性能を向上させる。
• 行動バイアスの中央値を用いた指標を導入し、著しく逸脱した行動を引き起こすメッセージを特定する。このようにして、改ざんされたエージェントからの可能性が高くなると仮定する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が適応的かつ最大 $ C < \frac{N-1}{2} $ 個のメッセージを改ざんできる状況下でも、敵対的通信に対して頑健性を保証できる防御を設計可能か？
• RQ2 任意の敵対的摂動に対して理論的頑健性を確保しつつ、悪意のない通信においても高い性能を維持することは可能か？
• RQ3 メッセージのアンブレーションとアンサンブル集約によって、敵対的訓練やヒューリスティクスに依存せずに証明可能な頑健性を達成できるか？
• RQ4 悪意のあるメッセージを効果的に検出することで、証明可能な保証を損なわずに、頑健なポリシーの自然な性能を向上させることは可能か？
• RQ5 メッセージのフィルタリングとアンブレーションベースのアンサンブルを組み合わせることで、頑健性と自然な性能のトレードオフを緩和できるか？

主な発見

• Ablated Message Ensemble（AME）防御は、攻撃戦略に依存しない理論的保証を備えた、敵対的通信に対して証明可能な頑健性を達成する。
• AMEは、複数のマルチエージェント強化学習（MARL）環境において、悪意のない通信においても高い性能を維持しており、頑健性の向上が自然性能の低下を伴わないことを実証した。
• 実験により、AMEはステルス的で適応的かつ協力的な攻撃など、さまざまな攻撃タイプに対して顕著な頑健性の向上を示した。
• 行動バイアス指標は悪意のあるメッセージを効果的に特定でき、改ざんされたエージェントは健全なエージェントと比較して顕著に高いバイアスを示した。これにより、検出手法の有効性が裏付けられた。
• たとえ1つの悪意のあるメッセージをフィルタリングするだけでも、$ k $ を大きくでき、ポリシーの自然な性能が向上する一方で、頑健性は維持された。
• 理論的条件が緩和されても本手法は有効であることが示された。これは、形式的な保証を超えた実用的頑健性を有している可能性を示唆している。