[論文レビュー] Can Decentralized Learning be more robust than Federated Learning?

Mathilde Raynal, Dario Pasquini+1 more|arXiv (Cornell University)|Mar 7, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

この論文は、ピアツーピアネットワークにおける悪意ある能力の向上により、分散型学習（DL）がフェデレーテッドラーニング（FL）よりも本質的に脆弱であることを示している。本稿では、個々の更新の知識と一貫性のないメッセージ送信を悪用して、モデル収束を乗っ取るか、標的を隔離する、二つの新しいByzantine攻撃——ステート・オーバーライドとサンダートラップ——を提案している。これらの攻撃は、最新の強固なプロトコル（例：SCClip）に対しても有効である。

ABSTRACT

Decentralized Learning (DL) is a peer--to--peer learning approach that allows a group of users to jointly train a machine learning model. To ensure correctness, DL should be robust, i.e., Byzantine users must not be able to tamper with the result of the collaboration. In this paper, we introduce two extit{new} attacks against DL where a Byzantine user can: make the network converge to an arbitrary model of their choice, and exclude an arbitrary user from the learning process. We demonstrate our attacks' efficiency against Self--Centered Clipping, the state--of--the--art robust DL protocol. Finally, we show that the capabilities decentralization grants to Byzantine users result in decentralized learning \emph{always} providing less robustness than federated learning.

研究の動機と目的

• 分散型学習（DL）が、Byzantineユーザーが存在する状況でフェデレーテッドラーニング（FL）よりも高い耐性を達成できるかどうかを調査すること。
• DLのピアツーピアアーキテクチャがFLにない新たな悪意ある能力を特定・分析すること。
• SCClipのような最新の強固なDLプロトコルが、新規のByzantine攻撃に対してどれほど有効であるかを評価すること。
• 攻撃者が個々の更新を観測できる現実的な脅威モデル下で、DLとFLの耐性を比較すること。
• 分散型トポロジーにおける耐性と通信効率のトレードオフを検討すること。

提案手法

• 悪意あるユーザーが誠実な寄与をキャンセルすることで、任意のモデルに収束させるステート・オーバーライド攻撃を設計する。
• 一貫性のない更新を送信することで、標的ユーザーをネットワークから隔離するサンドトラップ攻撃を導入する。これにより、標的は学習できず、他のユーザーもその参加の利益を得られない。
• 不一致なメッセージ送信がDLの耐性をFLより劣化させることを示すために、ノイズの入った更新攻撃を用いる。最小限のノイズでも効果が現れる。
• 完全な通信トポロジーを採用して、攻撃者の可視性と制御を最大化し、すべての個々の更新を観測可能にする。
• DLとFLを同一の訓練条件下で比較し、分散型通信が悪意ある能力に与える影響を孤立して分析する。
• トポロジーのスパarsityとミキシング行列の性質が悪意あるパワーを制限する役割を果たすことを分析し、より密度の高いネットワークでは耐性が低下することを示す。

実験結果

リサーチクエスチョン

• RQ1 分散型学習におけるByzantineユーザーは、アーキテクチャの違いにより、フェデレーテッドラーニングで可能な攻撃よりも深刻な攻撃を実行できるか？
• RQ2 SCClipのような既存の強固な集約プロトコルが、分散型学習における新規攻撃に対してどれほど保護するか？
• RQ3 異なる仲間に対して不一致な更新を送信可能であり、観測できる能力が、DLにおける悪意ある制御をFLと比較してどの程度強化するか？
• RQ4 分散型学習システムにおいて、耐性と通信効率の間に根本的なトレードオフが存在するか？
• RQ5 ピアツーピアネットワークにおけるByzantineユーザーの能力が向上している状況では、分散型学習がフェデレーテッドラーニングよりも耐性が高いことはあり得るか？

主な発見

• ステート・オーバーライド攻撃により、強固な集約でさえも、悪意あるユーザーが誠実な寄与をキャンセルすることで、最終的なモデルを完全に制御できる。
• サンドトラップ攻撃は、標的ユーザーをネットワークから完全に隔離し、学習不能にし、他のユーザーがその参加の利益を得られないようにする。
• SCClipのような最新の強固なDLプロトコルでさえも、攻撃が有効であるため、強固な集約がセキュリティギャップを埋めないことが示された。
• ノイズの入った更新攻撃により、攻撃者が一貫性のない更新を送信できる場合、DLの耐性はFLよりも劣化することが判明した。これはピアツーピアアーキテクチャに起因する。
• 分散型学習は、Byzantineユーザーが個々の更新を観測し、一貫性のないメッセージを送信できるという、サーバー媒介型FLにない追加の能力を獲得するため、本質的にフェデレーテッドラーニングより耐性が低い。
• 耐性とトポロジーのスパarsityは直接的に相反する。より密度の高いトポロジーは悪意あるパワーを増大させ、通信効率を犠牲にしない限り耐性を達成するのは難しくなる。