[論文レビュー] Complex-valued Federated Learning with Differential Privacy and MRI Applications

Anneliese Riess, Alexander Ziller+4 more|arXiv (Cornell University)|Oct 7, 2021

Privacy-Preserving Technologies in Data参考文献 52被引用数 6

ひとこと要約

本稿では、複素数値ニューラルネットワークのプライバシー保護型学習を可能にする、微分プライバシー（DP）の新規拡張である$ζ$-DPを提案する。複素数ガウス機構と$ζ$-DP-SGDを提案し、MRI再構成モデルが$ζ$-DP-SGDで学習された結果、強力なプライバシー保証（$ε \approx 0.67$）のもとで非プライベートモデルとほぼ同一の性能を達成することを示した。

ABSTRACT

Federated learning enhanced with Differential Privacy (DP) is a powerful privacy-preserving strategy to protect individuals sharing their sensitive data for processing in fields such as medicine and healthcare. Many medical applications, for example magnetic resonance imaging (MRI), rely on complex-valued signal processing techniques for data acquisition and analysis. However, the appropriate application of DP to complex-valued data is still underexplored. To address this issue, from the theoretical side, we introduce the complex-valued Gaussian mechanism, whose behaviour we characterise in terms of $f$-DP, $(\varepsilon, δ)$-DP and Rényi-DP. Moreover, we generalise the fundamental algorithm DP stochastic gradient descent to complex-valued neural networks and present novel complex-valued neural network primitives compatible with DP. Experimentally, we showcase a proof-of-concept by training federated complex-valued neural networks with DP on a real-world task (MRI pulse sequence classification in $k$-space), yielding excellent utility and privacy. Our results highlight the relevance of combining federated learning with robust privacy-preserving techniques in the MRI context.

研究の動機と目的

• MRIなど医療画像応用分野における複素数値機械学習のプライバシー保護手法の不足に取り組む。
• 微分プライバシー（DP）を複素数領域に拡張し、複素数値ニューラルネットワークに対するきめ細やかなプライバシー保証を可能にする。
• 現代のディープラーニングフレームワークおよびプライバシー会計と互換性を持つ複素数値の確率的勾配降下法の変種（$\zeta$-DP-SGD）を開発する。
• 実世界の複素数値タスク（ECG分類、音声認識、MRI再構成など）におけるプライベート学習の実現可能性と有用性を実証する。
• プライベートおよび非プライベート設定下での複素数値活性化関数と複素数MNISTデータセットのベンチマークを確立する。

提案手法

• $(\varepsilon, \delta)$-DPおよびRényi-DPの形式的拡張として$ζ$-DPを提案し、複素数平面を定義域として用いる。
• 複素数正規分布から抽出された複素数ノイズを勾配に加える複素数ガウス機構（CGM）を導入する。
• $(\varepsilon, \delta)$-DPおよびRényi-DPを用いてCGMのプライバシー特性を特徴付け、実数値DP理論を複素数領域に一般化する。
• 標準的なDP-SGDフレームワークにCGMを統合し、学習中に複素数勾配に対してノイズを付加およびクリッピングする$\zeta$-DP-SGDを設計する。
• マルチスレッドソフトウェアスタックを用いて実装し、プライバシー会計およびノイズキャリブレーションに細心の注意を払う。
• 複素数算術およびプライバシー制約に適合させた標準的なディープラーニングコンponents（例：複素数CNN、ReLUに類似した活性化関数）を活用する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングにおける複素数関数および勾配に対して、微分プライバシーを形式的に拡張できるか？
• RQ2 同等の条件下で、複素数ガウス機構は実数値DPのプライバシー保証を保持するか？
• RQ3 $\zeta$-DP-SGDは、実世界のタスクにおいて、高い性能を維持しながら強力なプライバシー（例：$\varepsilon < 1$）を確保できるか？
• RQ4 $\zeta$-DP-SGDの性能は、MRI再構成やECG分類といった複素数値タスクにおける非プライベート学習と比べてどの程度か？
• RQ5 専門放射線科医による評価において、$\zeta$-DP-SGDで学習されたMRI再構成スキャンの診断適合性に、プライベート学習の影響は顕著に現れるか？

主な発見

• 複素数ガウス機構は、$(\varepsilon, \delta)$-DPおよびRényi-DPの両方において有効なプライバシー保証を提供し、複素数領域における形式的プライバシー会計を可能にする。
• MRI再構成タスクにおいて、$\zeta$-DP-SGDは正規化平均二乗誤差（NMSE）0.043およびPSNR 30.57 dBを達成し、非プライベートモデルのNMSE 0.042およびPSNR 30.74 dBとほぼ同一の性能を示した。
• $\zeta$-DP-SGDの構造的類似性指数（SSIM）は0.69であり、非プライベートモデルの0.70と比較して、画像品質の低下は最小限に抑えられた。
• 盲検評価を行った放射線科医は、$\zeta$-DP-SGDで学習されたMRI再構成画像と非プライベート学習で得られた画像との間に、診断適合性において明確な差を認めなかった。
• 非プライベートモデルと$\zeta$-DP-SGDモデルの間の性能差は、すべての指標で2%未満であり、優れたプライバシーと有用性のトレードオフを示している。
• 複素数値MNISTの変種およびさまざまな複素数活性化関数に対するベンチマークから、$\zeta$-DP-SGDが多様な複素数値アーキテクチャと互換性を持ち、高いモデル忠実度を維持することが示された。