[論文レビュー] Robust and Privacy-Preserving Collaborative Learning: A Comprehensive Survey

Shangwei Guo, Xu Zhang+5 more|arXiv (Cornell University)|Dec 19, 2021

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

この包括的なサーベイは、特にフェデレーテッドラーニングを含む共同学習システムにおける、ビザンチン攻撃やバックドア攻撃、データ推論攻撃などのセキュリティおよびプライバシー脅威を体系的に分析する。ロバストアグリゲーション、プライバシー保護のための微分プライバシー、暗号化などの防御手法をレビューし、非IIDデータ、証明可能なバックドア防御、プライバシーとパフォーマンスのトレードオフといった未解決の課題を特定する。

ABSTRACT

With the rapid demand of data and computational resources in deep learning systems, a growing number of algorithms to utilize collaborative machine learning techniques, for example, federated learning, to train a shared deep model across multiple participants. It could effectively take advantage of the resources of each participant and obtain a more powerful learning system. However, integrity and privacy threats in such systems have greatly obstructed the applications of collaborative learning. And a large amount of works have been proposed to maintain the model integrity and mitigate the privacy leakage of training data during the training phase for different collaborative learning systems. Compared with existing surveys that mainly focus on one specific collaborative learning system, this survey aims to provide a systematic and comprehensive review of security and privacy researches in collaborative learning. Our survey first provides the system overview of collaborative learning, followed by a brief introduction of integrity and privacy threats. In an organized way, we then detail the existing integrity and privacy attacks as well as their defenses. We also list some open problems in this area and opensource the related papers on GitHub: https://github.com/csl-cqu/awesome-secure-collebrative-learning-papers.

研究の動機と目的

• 単一のフレームワークに限定されない、共同学習システムにおける整合性とプライバシーの脅威を統合的かつ包括的にレビューすること。
• ビザンチン攻撃、バックドア攻撃、データ推論攻撃の根本的要因とメカニズムを分析すること。
• 特にロバストアグリゲーション、微分プライバシー、暗号化を含む既存の防御戦略を、整合性とプライバシーの両面から評価すること。
• 非IIDデータ、証明可能な防御、プライバシーとパフォーマンスのトレードオフといった、現在の防御研究における重要な未解決問題を特定・明示すること。
• https://github.com/csl-cqu/awesome-secure-collebrative-learning-papers にアクセス可能なオープンソースの論文リポジトリを整備し、今後の研究を支援すること。

提案手法

• サーバー基盤型とピアツーピア型のアーキテクチャに分類し、フェデレーテッドラーニングを主な代表例として焦点を当てる。
• 整合性の脅威をビザンチン攻撃（例：モデル汚染）とバックドア攻撃（例：トリガーを用いたデータ汚染）に分類し、その伝搬メカニズムを分析する。
• プライバシーの脅威（例：メンバーシップ推論、プロパティ推論、モデル逆転）をレビューし、勾配やモデル更新からデータが漏洩する仕組みを強調する。
• 防御技術を評価：整合性のためのロバストアグリゲーション（例：Krum、Trimmed Mean）、プライバシーのための微分プライバシーや同型暗号化。
• 複数の技術を組み合わせたハイブリッド防御（例：微分プライバシーとロバストアグリゲーションの併用）を分析し、耐性向上を検証する。
• 脅威モデル、攻撃ベクトル、防御対象（モデル対データ）に基づく、攻撃および防御メカニズムの分類体系を提案する。

実験結果

リサーチクエスチョン

• RQ1 ビザンチン攻撃およびバックドア攻撃は、共同学習においてどのようにモデルの整合性を損なうのか。また、それらの特徴的な差異は何か？
• RQ2 特にロバストアグリゲーションと微分プライバシーを含む既存の防御策は、現実的な条件下で、整合性およびプライバシーの脅威をどの程度効果的に緩和できるのか？
• RQ3 非IIDデータやノイズの多いデータ環境下で、現在の防御策にどのような主な制限があり、それらがモデルの耐性にどのように影響するのか？
• RQ4 なぜ共同学習において、証明可能なバックドア防御はまだ十分に発展していないのか。その実装に課題となる技術的障壁は何か？
• RQ5 共同学習のシステムレベルの特徴を活用することで、微分プライバシーにおけるプライバシーとパフォーマンスのトレードオフをどのように改善できるか？

主な発見

• 1人の悪意ある参加者によって、更新が健全な更新と区別できない場合、ビザンチン攻撃は共同学習プロセス全体を損なう可能性がある。
• 生データを共有しなくても、共同学習におけるモデル更新はメンバーシップ情報や特徴情報の漏洩を引き起こし、勾配から訓練サンプルの再構築が可能になる。
• 既存のバックドア防御は主に経験的であり、高度で適応的な攻撃に対しては失敗する。証明可能な保証を持つ防御は、共同環境では依然として極めて稀である。
• 微分プライバシーはプライバシーを向上させるが、特に大規模なニューラルネットワークでは、高いノイズを注入するため、モデルのパフォーマンスが著しく低下する傾向がある。
• サンプル推論を防ぐためにノイズを追加したりパラメータをプルーニングしたりする防御策は、モデルの正確性を低下させることがある。これにより、パフォーマンスを維持しつつプライバシーを保護する手法の開発が急務である。
• 非IIDデータ、プロパティ推論における基盤データセット、スケーラブルな証明可能な防御といった未解決の課題は、依然として十分に検討されておらず、顕著な研究ギャップが存在する。