[論文レビュー] PolicyCleanse: Backdoor Detection and Mitigation in Reinforcement Learning

Junfeng Guo, Ang Li+1 more|arXiv (Cornell University)|Feb 8, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

PolicyCleanseは、攻撃者による行動シーケンスによる報酬低下を活用してトロイの木馬のトリガーを特定する、マルチエージェント競合強化学習における背後攻撃検出および緩和フレームワークを提案する。本手法は、ベースラインと比較して3%以上の勝率向上を達成し、優れた検出精度を実現する。

ABSTRACT

While real-world applications of reinforcement learning are becoming popular, the security and robustness of RL systems are worthy of more attention and exploration. In particular, recent works have revealed that, in a multi-agent RL environment, backdoor trigger actions can be injected into a victim agent (a.k.a. Trojan agent), which can result in a catastrophic failure as soon as it sees the backdoor trigger action. To ensure the security of RL agents against malicious backdoors, in this work, we propose the problem of Backdoor Detection in a multi-agent competitive reinforcement learning system, with the objective of detecting Trojan agents as well as the corresponding potential trigger actions, and further trying to mitigate their Trojan behavior. In order to solve this problem, we propose PolicyCleanse that is based on the property that the activated Trojan agents accumulated rewards degrade noticeably after several timesteps. Along with PolicyCleanse, we also design a machine unlearning-based approach that can effectively mitigate the detected backdoor. Extensive experiments demonstrate that the proposed methods can accurately detect Trojan agents, and outperform existing backdoor mitigation baseline approaches by at least 3% in winning rate across various types of agents and environments.

研究の動機と目的

• 攻撃者が相手エージェントの行動を通じてトリガーを埋め込む、マルチエージェント競合強化学習（CRL）における背後攻撃の増加するセキュリティリスクに対処すること。
• 攻撃者からの特定の行動シーケンスにさらされた際に、深刻な失敗を起こすトロイの木馬エージェントを同定すること。
• 機械のアンラーニングに基づく再訓練アプローチを用いて、検出された背後攻撃を緩和すること。
• CRL環境における未知で可変長の連続的行動トリガーの課題を克服すること。
• 失敗速度を遅くすることで検出を回避しようとする適応的攻撃に対して、耐性を確保すること。

提案手法

• PolicyCleanseは、被害者エージェントの報酬が急激に低下する行動シーケンスを特定するために、逆報酬方策の最適化を実行することで背後攻撃を検出する。
• 期待累積報酬の二分探索を用いて、トリガー行動シーケンスの局所化を実施し、段階的にしきい値範囲を狭める。
• 多様な環境で検出成功率を向上させるために、ランダム初期化を用いた並列化された方策最適化を採用する。
• 疑似トリガーが特定された後、良性および疑似トリガー付きの遷移データの混合データセット上で被害者方策を再訓練し、トロイの木馬行動を学習から抹消する。
• 機械のアンラーニングに基づく緩和戦略を適用し、勝率において既存のベースラインを上回る。
• 攻撃者が検出を回避するために失敗メカニズムを変更する適応的攻撃の下でも、本手法の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 被害者エージェントが特定の相手の行動にさらされた際に、異常な報酬低下が観察される場合、競合強化学習における背後攻撃トリガーを検出可能か？
• RQ2 PolicyCleanseは、多様なCRL環境およびエージェントアーキテクチャにおいて、背後攻撃の検出にどの程度効果的か？
• RQ3 提案された緩和戦略は、既存のベースラインと比較して、被害者エージェントの性能をどの程度回復させるか？
• RQ4 失敗応答を遅くすることで検出を回避しようとする適応的攻撃において、PolicyCleanseはどの程度の性能を示すか？
• RQ5 検出メカニズムは、自然なエージェント行動と人工的な背後攻撃トリガーを区別できるか？

主な発見

• PolicyCleanseは、4つの異なる競合環境および複数のエージェントアーキテクチャにおいて、高精度で全トロイの木馬エージェントを検出できた。
• 評価されたすべての環境において、既存の背後攻撃緩和ベースラインを3%以上の勝率向上で上回った。
• 検出を回避するために失敗速度を遅くする適応的攻撃は、標準的な BackdooRL と比較して攻撃効果を少なくとも19.6%低下させた。
• 検出された疑似トリガーは、良性の行動とは明確に異なり、自然なエージェント行動の副産物でもないことが、アブレーションおよび可視化によって確認された。
• アンラーニングに基づく緩和戦略は、エージェントの性能を効果的に回復させ、被害者エージェントが強力な競争能力を回復させた。
• 適応的攻撃が検出を回避した場合でも、その結果としての失敗速度は著しく遅くなり、スパイクの隠れやすさと実世界での実現可能性が低下した。