[論文レビュー] Dopamine: Differentially Private Federated Learning on Medical Data

Mohammad Malekzadeh, Burak Hasırcıoglu+4 more|arXiv (Cornell University)|Jan 27, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用数 42

ひとこと要約

Dopamine は連合学習を差分プライベートな確率的勾配降下法（DP-SGD）と安全な集約と組み合わせて、分散された医用画像上で DNN を訓練し、集中型 DP に近いプライバシー保証を達成するとともに、並列 DP を用いた標準 FL よりも精度を改善します。

ABSTRACT

While rich medical datasets are hosted in hospitals distributed across the world, concerns on patients' privacy is a barrier against using such data to train deep neural networks (DNNs) for medical diagnostics. We propose Dopamine, a system to train DNNs on distributed datasets, which employs federated learning (FL) with differentially-private stochastic gradient descent (DPSGD), and, in combination with secure aggregation, can establish a better trade-off between differential privacy (DP) guarantee and DNN's accuracy than other approaches. Results on a diabetic retinopathy~(DR) task show that Dopamine provides a DP guarantee close to the centralized training counterpart, while achieving a better classification accuracy than FL with parallel DP where DPSGD is applied without coordination. Code is available at https://github.com/ipc-lab/private-ml-for-health.

研究の動機と目的

• 分散医療データセット上で DNN の訓練におけるプライバシー懸念を動機づける。
• 記録レベルの DP を保証する差分プライバシーを用いた FL ベースの訓練フレームワークを開発する。
• 安全な集約とモメンタム対応 DPSGD を用いてプライバシーと有用性のトレードオフを改善する。
• 理論的なプライバシー保証と糖尿病性網膜症タスクでの実証評価を提供する。

提案手法

• Dopamine を提案する、セキュア集約を伴う FL のためのカスタマイズされた DPSGD。
• 各サンプル勾配を bound C にクリップし、尺度 sigma の Gaussian ノイズを追加する。
• 勾配更新にモメンタムを用いて精度を向上させる。
• Moments Accountant (MA) を用いてラウンドごとのプライバシー損失を追跡し、(epsilon, delta)-DP を適用する。
• セキュア集約の下でサーバと病院に対してレコードレベル DP を実証する。
• ベースモデルとして SqueezeNet を用いた糖尿病性網膜症データセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 Dopamine は連合学習中の分散医療データに対してレコードレベル DP 保証を提供できるか？
• RQ2 セキュア集約は、DPSGD を用いた標準 FL より集中型 DP に近いプライバシー-有用性のトレードオフを達成させるか？
• RQ3 モメンタムの組み込みと各ラウンド MA ベースのプライバシー計算はモデルの精度とプライバシー損失にどう影響するか？

主な発見

• Dopamine は集中型トレーニング（CDP）に近い DP 境界を達成し、初期エポックでしばしばより良い。
• 同じプライバシーレベルで、Dopamine は FPDP より FL with parallel DP に比べ分類精度が高い。
• セキュア集約は各病院のノイズ負担を軽減し、FPDP と比べて有用性を改善する。
• 非プライベートな FL と比較して、Dopamine は競争力のある精度を維持しつつ正式な DP 保証を提供する。
• 本アプローチは提示設定においてサーバに対して (epsilon, delta)-DP、病院に対して (epsilon*sqrt(K/(K-1)), delta)-DP を保証する。