[論文レビュー] Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee

Flint Xiaofeng Fan, Yining Ma+4 more|arXiv (Cornell University)|Oct 26, 2021

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

本稿では、任意のシステム障害や悪意ある攻撃（Byzantine Fault）が発生しても収束を保証する耐故障型フェデレーテッド強化学習フレームワーク、FedPG-BRを提案する。さらに、エージェント数の増加に伴いサンプル効率が向上する。分散還元型ポリシー勾配最適化と勾配ベースのByzantineフィルタを統合し、故障率が半数未塔の状況下でも$O(1/\epsilon^{5/3})$のサンプル複雑性を達成。その際、追加の$O(\alpha^{4/3}/\epsilon^{5/3})$のペナルティが生じるが、これは$\alpha \to 0$に伴い消滅する。

ABSTRACT

The growing literature of Federated Learning (FL) has recently inspired Federated Reinforcement Learning (FRL) to encourage multiple agents to federatively build a better decision-making policy without sharing raw trajectories. Despite its promising applications, existing works on FRL fail to I) provide theoretical analysis on its convergence, and II) account for random system failures and adversarial attacks. Towards this end, we propose the first FRL framework the convergence of which is guaranteed and tolerant to less than half of the participating agents being random system failures or adversarial attackers. We prove that the sample efficiency of the proposed framework is guaranteed to improve with the number of agents and is able to account for such potential failures or attacks. All theoretical results are empirically verified on various RL benchmark tasks.

研究の動機と目的

• 既存のフェデレーテッド強化学習（FRL）フレームワークに理論的収束保証が欠如している問題に対処する。
• FRLがランダムなシステム障害や悪意ある攻撃（Byzantine Faultとしてモデル化）に対しても耐性を持つようにする。
• 故障状態にあっても、参加エージェント数の増加に伴いサンプル効率が向上することを保証する。
• 高分散勾配推定と非完全情報攻撃に対しても性能を維持できる実用的なFRLシステムを構築する。
• 現実的な障害モデル下での耐故障性と収束性について、理論的分析と実験的検証を提供する。

提案手法

• 勾配推定の分散を低減する確率的分散還元最適化（SCSG）をフェデレーテッドポリシー勾配フレームワークに統合し、勾配推定の分散を低減する。
• 故障または悪意あるエージェントの影響を特定・低減する勾配ベースのByzantineフィルタを設計する。
• フィルタをグローバルポリシー更新ステップに適用し、最大半数のエージェントがByzantineであっても収束を保証する。
• 理論的分析により、$\epsilon$-停留点への収束に $O(1/\epsilon^{5/3})$ のサンプル複雑性が得られることを示す。
• K個のエージェントが参加する状況では、サンプル複雑性が $O(1/K^{2/3})$ の割合で改善され、Byzantineエージェントの影響は $O(\alpha^{4/3}/\epsilon^{5/3})$ に有界である。
• さまざまな障害タイプと攻撃を想定したベンチマークRL環境（例：CartPole, LunarLander, HalfCheetah）で、フレームワークの実験的妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 最大半数のエージェントが故障または悪意ある場合でも、フェデレーテッド強化学習システムが収束性とサンプル効率を維持できるか？
• RQ2 分散還元型ポリシー勾配最適化の導入が、FRLの収束速度と耐性に与える影響は何か？
• RQ3 非完全情報攻撃（例：分散攻撃）に対して、勾配ベースのByzantineフィルタがどれほど影響を低減できるか？
• RQ4 Byzantine状態下でも、参加エージェント数の増加に伴いFRLのサンプル複雑性が改善されるか？
• RQ5 提案フレームワークの理論的収束保証が、多様なRLベンチマークタスクで実験的に検証可能か？

主な発見

• 提案されたFedPG-BRフレームワークは、単一エージェント設定下で $O(1/\epsilon^{5/3})$ のサンプル複雑性を達成し、状態アートの分散還元型ポリシー勾配手法と同等の性能を示す。
• K個のエージェントが参加する場合、サンプル複雑性は $O(1/K^{2/3})$ の速度で改善され、エージェント数の増加がサンプル効率の向上に寄与することが証明される。
• 故障エージェントの割合が半数未塔（$\alpha < 0.5$）の場合、収束性は追加の項 $O(\alpha^{4/3}/\epsilon^{5/3})$ のみが悪化し、$\alpha \to 0$ に伴い消滅する。
• 実験結果から、10エージェント（うち3がByzantine：ランダムノイズまたは分散攻撃）のFedPG-BRは、単一エージェント学習を上回り、10人の誠実なエージェントから構成されるフェデレーションとほぼ同等の性能を示す。
• フレームワークは分散攻撃に対して効果的に防御し、非悪意あるベースラインと比較して性能をほぼ維持する。これは勾配偏差の理論的境界が正当化されていることを裏付ける。
• 複数の環境（CartPole, LunarLander, HalfCheetah）において一貫した性能を示し、多様な障害および攻撃モデル下でも耐障害性を確認した。