[論文レビュー] Local Environment Poisoning Attacks on Federated Reinforcement Learning

Evelyn Ma, Rathi, Praneet+1 more|arXiv (Cornell University)|Mar 5, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿は、フェデレーテッド強化学習（FRL）における新たなローカル環境ポイズニング攻撃フレームワークを提案する。この攻撃は、ローカル学習中に観測値を操作することでグローバル方策の性能を低下させる。攻撃を最適化問題として定式化し、プライベートおよびパブリックなクリティックを用いてアクタ・クリティック設定に拡張することで、グローバル目的関数を明示的に低下させることを理論的に保証した。複数のOpenAI Gym環境および強化学習アルゴリズムにおいて、ベースライン攻撃を上回る強力なポイズニング効果を示した。

ABSTRACT

Federated learning (FL) has become a popular tool for solving traditional Reinforcement Learning (RL) tasks. The multi-agent structure addresses the major concern of data-hungry in traditional RL, while the federated mechanism protects the data privacy of individual agents. However, the federated mechanism also exposes the system to poisoning by malicious agents that can mislead the trained policy. Despite the advantage brought by FL, the vulnerability of Federated Reinforcement Learning (FRL) has not been well-studied before. In this work, we propose a general framework to characterize FRL poisoning as an optimization problem and design a poisoning protocol that can be applied to policy-based FRL. Our framework can also be extended to FRL with actor-critic as a local RL algorithm by training a pair of private and public critics. We provably show that our method can strictly hurt the global objective. We verify our poisoning effectiveness by conducting extensive experiments targeting mainstream RL algorithms and over various RL OpenAI Gym environments covering a wide range of difficulty levels. Within these experiments, we compare clean and baseline poisoning methods against our proposed framework. The results show that the proposed framework is successful in poisoning FRL systems and reducing performance across various environments and does so more effectively than baseline methods. Our work provides new insights into the vulnerability of FL in RL training and poses new challenges for designing robust FRL algorithms

研究の動機と目的

• 悪意あるエージェントによるフェデレーテッド強化学習（FRL）のポイズニング攻撃に対する脆弱性を体系的かつ包括的に調査すること。
• FRLにおけるローカル環境ポイズニングを最適化問題としてモデル化できる汎用的フレームワークを構築すること。
• ポリシーに基づくFRLに効果的であり、アクタ・クリティックアーキテクチャへも拡張可能な実用的なポイズニングプロトコルを設計すること。
• 多様な強化学習環境およびアルゴリズムにおいて攻撃の有効性を実証的に検証すること。
• FRLにおけるセキュリティリスクを強調し、より強固な防御メカニズムの開発を促すこと。

提案手法

• 攻撃は、悪意あるエージェントが学習中に自らのローカル観測値を摂動させることでグローバル方策を誤導する最適化問題として定式化される。
• ポリシーに基づくFRLでは、真のMDPにアクセスできない状況下で、観測値に敵対的摂動を注入することでローカル学習データを操作する。
• アクタ・クリティック設定では、攻撃者はプライベートおよびパブリックなクリティックのペアを訓練し、価値関数推定を歪め、グローバルモデルの更新を操作する。
• フレームワークは、理論的に、ポイズニングがグローバル目的関数を厳密に低下させることを保証する。
• 200ラウンドの通信にわたり、モデル平均化とグローバルモデルのブロードキャストを用いた標準的なフェデレーテッド学習プロトコルで攻撃を評価する。
• アブレーションスタディでは、クリーンな学習とランダム報酬ベースの攻撃とを比較し、標的的な観測値ポイズニングの影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 FRLにおいて、ローカル環境ポイズニングを理論的に有効な最適化問題として定式化できるか？
• RQ2 提案されたポイズニング手法は、多様な強化学習環境においてグローバル方策の性能をどれほど低下させるか？
• RQ3 価値関数の操作を伴うアクタ・クリティックFRLに拡張した場合でも、攻撃は有効に機能するか？
• RQ4 悪意あるエージェントの割合が、ポイズニング攻撃の成功に与える影響は何か？
• RQ5 ランダム報酬摂動に基づくベースライン攻撃と比較して、本手法はどのように優れているか？

主な発見

• 提案されたポイズニング手法は、CartPole、InvertedPendulum、LunarLander、Hopper、Walker2d、HalfCheetahを含むすべてのテスト環境で、グローバル方策の性能を著しく低下させた。
• VPGベースのシステムでは、ランダム報酬ベースの攻撃を上回り、CartPoleでは明確な性能低下が観察され、平均エピソード報酬の継続的低下も確認された。
• PPOベースのシステムでは、勾配ノイズの低減により、報酬ポイズニングがより効果的に実行され、方策操作の強度が向上した。
• 少数の悪意あるエージェントでも攻撃が有効であることが確認され、スケーラビリティとステルス性を示した。
• 本手法はグローバル目的関数を理論的に明示的に低下させることを保証しており、理論的整合性とシステム全体への影響を裏付けた。
• 結果から、FRLはローカル環境ポイズニングに対して脆弱であり、実世界への導入に重大なリスクを伴うことが明らかになった。