[論文レビュー] SCOTCH: An Efficient Secure Computation Framework for Secure Aggregation

Yash More, Prashanthi Ramachandran+4 more|arXiv (Cornell University)|Jan 19, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

SCOTCH は、秘密分散と MPC 原 primitives を用いて、複数の参加者とサーバー間でプライバシー保護されたモデル集約を可能にする、分散型で効率的なセキュア計算フレームワークである。MNIST では 96.57%、EMNIST では 98.40% の高いモデル精度を達成し、通信オーバーヘッドを最小限に抑え、1トレーニングラウンドあたり O(2mn) の暗号操作で強力なプライバシー保証を実現する。

ABSTRACT

Federated learning enables multiple data owners to jointly train a machine learning model without revealing their private datasets. However, a malicious aggregation server might use the model parameters to derive sensitive information about the training dataset used. To address such leakage, differential privacy and cryptographic techniques have been investigated in prior work, but these often result in large communication overheads or impact model performance. To mitigate this centralization of power, we propose SCOTCH, a decentralized m-party secure-computation framework for federated aggregation that deploys MPC primitives, such as secret sharing. Our protocol is simple, efficient, and provides strict privacy guarantees against curious aggregators or colluding data-owners with minimal communication overheads compared to other existing state-of-the-art privacy-preserving federated learning frameworks. We evaluate our framework by performing extensive experiments on multiple datasets with promising results. SCOTCH can train the standard MLP NN with the training dataset split amongst 3 participating users and 3 aggregating servers with 96.57% accuracy on MNIST, and 98.40% accuracy on the Extended MNIST (digits) dataset, while providing various optimizations.

研究の動機と目的

• 中央集約者がモデル更新から機微なデータを推定する可能性がある、フェデレーテッドラーニングにおけるプライバシーリスクに対処すること。
• MPC や微分プライバシーに基づく既存のプライバシー保護型フェデレーテッドラーニングフレームワークの通信および計算オーバーヘッドを低減すること。
• 中央集約の単一障害点を排除し、複数のサーバー間で分散型モデル集約を可能にすること。
• セキュアマルチパーティコンピューティングを用いて、学習データ、中間のモデル重み、最終的なモデルパラメータにまでエンドツーエンドのプライバシー保護を提供すること。
• 実世界のプライバシー感受性の高い機械学習アプリケーションへの実装に適した、実用的で効率的かつスケーラブルなフレームワークを設計すること。

提案手法

• フレームワークは、m 人の参加者と n 人の集約者にモデル更新を秘密分散することで、いかなる単一のエンティティでも元のデータを再構築できないようにする。
• 標準的な MPC プロトコルを用いて、入力を露呈せずに共有値上の算術演算を実行する、セキュアな外部処理計算を利用する。
• システムは誠実だが好奇心の強い脅威モデルに従い、好奇な集約者および共謀するデータ所有者から保護する。
• 加法的秘密分散を整数および固定小数点算術で用い、モデル集約を実行する。精度は設定可能であり、整数部には l_w ビット、小数部には l_f ビットを指定可能である。
• 最適化された暗号操作を用いて実装し、1トレーニングラウンドあたり O(2mn) のオーバーヘッドに抑え、通信コストを最小限に抑える。
• 実験は、MLP を用いた MNIST、EMNIST、FMNIST データセットで実施され、さまざまなビット長設定における精度とパフォーマンスが分析された。

実験結果

リサーチクエスチョン

• RQ1 既存の MPC ベースのアプローチと比較して、分散型フェデレーテッドラーニングフレームワークは、通信オーバーヘッドを最小限に抑えつつ、強力なプライバシー保証を達成できるか？
• RQ2 秘密分散に基づくセキュア集約は、マルチパーティフェデレーテッドラーニングにおけるモデル精度とトレーニング効率にどのように影響を与えるか？
• RQ3 MPC 制約下でのセキュアニューラルネットワークトレーニングにおいて、固定小数点算術の最適な精度（ビット長）は何か？
• RQ4 中間のモデル重みと最終的なモデルパラメータが推定攻撃から保護されつつ、高いモデル精度を維持できるか？
• RQ5 参加する参加者および集約者の数が増加するに従い、通信および計算コストはどのようにスケーリングするか？

主な発見

• SCOTCH は、3人のユーザーと3台のサーバー間でモデル更新を安全に集約し、標準的な MLP を用いて MNIST データセットで 96.57% のテスト精度を達成した。
• 拡張版 MNIST（数字）データセットでは 98.40% の精度を達成し、多クラス分類タスクにおいて優れたパフォーマンスを示した。
• 暗号的オーバーヘッドを 1トレーニングラウンドあたり O(2mn) に抑え、先行する最先端のフレームワークと比較して通信コストを顕著に低減した。
• 13–16 ビットからより高い値（例：24–32 ビット）に精度を向上させることで、特に多クラス分類のような複雑なタスクにおいてモデルパフォーマンスが向上した。
• トレーニング時間と通信の両面で効率性を顕著に向上させつつ、既存のアプローチと同等のモデル実用性とプライバシー保証を維持した。
• すべてのコードと実験結果は https://github.com/arupmondal-cs/SCOTCH で公開されており、再現性およびさらなる研究に役立つ。