[論文レビュー] No Peek: A Survey of private distributed deep learning

Praneeth Vepakomma, Tristan Swedish+3 more|arXiv (Cornell University)|Dec 8, 2018

Privacy-Preserving Technologies in Data参考文献 10被引用数 46

ひとこと要約

この論文は、no-peek distributed deep learning の手法（splitNN、federated learning、そして large-batch SGD）を概説し、それらのデータ漏洩リスク、リソースコスト、将来の方向性を分析します。DP、HE、MPC のようなプライバシー強化技術を含みます。

ABSTRACT

We survey distributed deep learning models for training or inference without accessing raw data from clients. These methods aim to protect confidential patterns in data while still allowing servers to train models. The distributed deep learning methods of federated learning, split learning and large batch stochastic gradient descent are compared in addition to private and secure approaches of differential privacy, homomorphic encryption, oblivious transfer and garbled circuits in the context of neural networks. We study their benefits, limitations and trade-offs with regards to computational resources, data leakage and communication efficiency and also share our anticipated future trends.

研究の動機と目的

• Distributed deep learning における raw client data を共有しないノーピークの概念を定義する。
• 分散学習アプローチ（splitNN、federated learning、large-batch SGD）をデータ漏洩、モデル露出、リソースの観点で比較する。
• Differential privacy、homomorphic encryption、MPC などのプライバシー強化技術とノーピーク手法の組み合わせを論じる。
• 医療、金融、分散システムでの実用展開に向けたトレードオフと今後の動向を強調する。

提案手法

• データ、中間表現、モデルの詳細といった保護レベルで分散深層学習法を分類する。
• データ露出とアーキテクチャの機密性に基づいて splitNN、federated learning、large-batch SGD のノーピーク特性を評価する。
• 各手法におけるリソース要件（計算、帯域、メモリ、同期）を比較し、splitNN の効率性の利点を論じる。
• プライバシー強化アプローチ（DP、HE、MPC）と private DL への適用性を要約する。
• no-peek 手法と DP、HE、MPC を組み合わせた将来の方向性と潜在的なハイブリッド手法を提示する。

実験結果

リサーチクエスチョン

• RQ1 入力データ、 中間表現、 モデルパラメータに関する各分散深層学習技術が提供する保護レベルは何か？
• RQ2 splitNN、federated learning、large-batch SGD はデータ泄露リスクとリソース効率の点でどう比較されるか？
• RQ3 no-peek 学習と統合できるプライバシー保護技術は、有用性を犠牲にせずにセキュリティ保証を強化できるか？
• RQ4 private distributed deep learning の実用的な将来の方向性とドメイン応用は何か？

主な発見

• SplitNN はモデル構成や重みを共有しないことで最も強い保護を提供し、フェデレーテッドラーニングと large-batch SGD は勾配、活性化、重みなどの情報をより多く共有する。
• SplitNN は一般にクライアント側リソース（計算、帯域、メモリ）を最も低く抑え、多くのクライアントがいる場合に他の二つの手法より高い精度を達成するという報告された実験結果。
• フェデレーテッドラーニングはクライアント間のデータが非 IID の場合データ漏洩リスクを被りやすく、クライアント側リソース要件が高い； large-batch SGD は帯域と計算要件が非常に高い。
• DP、HE、MPC とno-peek手法を組み合わせるハイブリッドアプローチは、より強いプライバシー保証の有望な将来の方向性として identified されている。
• Large-Batch SGD に比べて Federated Learning と SplitNN は通信と計算のトレードオフが異なり、SplitNN は顕著なクライアント側の効率を達成している。
• CIFAR-10/100 と VGG/ResNet アーキテクチャでの実証的比較は、SplitNN のクライアント側リソースの大きな優位性を示している。