[論文レビュー] Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification

Kishore Babu Nampalle, Pradeep Singh+2 more|arXiv (Cornell University)|Jun 30, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿は、医療画像分類のための新たな微分プライバシー付きフェデレーテッドラーニング（DP-FL）フレームワークを提案する。このフレームワークは、校正されたノイズ注入と適応的プライバシー予算割り当てを統合し、プライバシーとモデル性能のバランスを図る。正式なプライバシー保証を提供しながらも、84.64%のF1スコアを達成し、感受性の高い医療分野におけるユーティリティと保護の妥当なトレードオフを示している。

ABSTRACT

The proliferation of deep learning applications in healthcare calls for data aggregation across various institutions, a practice often associated with significant privacy concerns. This concern intensifies in medical image analysis, where privacy-preserving mechanisms are paramount due to the data being sensitive in nature. Federated learning, which enables cooperative model training without direct data exchange, presents a promising solution. Nevertheless, the inherent vulnerabilities of federated learning necessitate further privacy safeguards. This study addresses this need by integrating differential privacy, a leading privacy-preserving technique, into a federated learning framework for medical image classification. We introduce a novel differentially private federated learning model and meticulously examine its impacts on privacy preservation and model performance. Our research confirms the existence of a trade-off between model accuracy and privacy settings. However, we demonstrate that strategic calibration of the privacy budget in differential privacy can uphold robust image classification performance while providing substantial privacy protection.

研究の動機と目的

• 医療画像解析におけるデータ共有が引き起こす倫理的・法的懸念を軽減するため、プライバシーリスクに対処すること。
• メンバーインファレンス攻撃やモデル逆転攻撃といった脆弱性を軽減することにより、個人の機微な患者データが露呈されるのを防ぐこと。
• 微分プライバシーを医療画像のフェデレーテッドラーニングに統合し、形式的な数学的プライバシー保証を提供すること。
• 訓練ラウンドに応じてプライバシー予算を戦略的にキャリブレートすることで、モデルのユーティリティとプライバシーのトレードオフを最適化すること。
• 本フレームワークの性能を、皮膚 lesion や脳腫瘍分類を含む実世界の医療画像データセット上で評価すること。

提案手法

• 微分プライバシーを統合した新規のフェデレーテッドラーニングフレームワークを提案。数学的に厳密なメカニズムを用いてモデル更新にノイズを追加し、形式的なプライバシー保証を確保する。
• 微分プライバシーのパラメータ（ε, δ）に基づくノイズキャリブレーション戦略を導入。これにより、モデル出力が任意の1点のデータの有無に敏感でなくなるように保証する。
• 初期の訓練ラウンドではモデル更新が最も情報量が多くなるため、プライバシー予算を高く割り当て、時間経過とともに段階的に低くする適応的プライバシー予算割り当て戦略を採用。
• 複数のクライアントから得たローカルで更新されたモデルを統合するグローバルモデルアグリゲーションプロセスを採用。これにより、データの局所性を保ちつつプライバシー漏洩を最小限に抑える。
• 学習率の減少関数とモデルアーキテクチャの微調整を適用し、ノイズ注入に対してもパフォーマンスを維持する。
• HAM10000および脳腫瘍データセットにおける画像分類に、標準的なディープラーニングモデル（例：ResNetに類似したアーキテクチャ）を用い、3つのクライアントで訓練を実施。

Figure 1: Schematic representation of proposed framework (* represents the client who starts the learning process to take care of the overfitting issue).

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを医療画像分類のためのフェデレーテッドラーニングに効果的に統合できるか。その際、モデル性能が著しく低下しないか。
• RQ2 プライバシー予算の適応的割り当ては、医療画像分類におけるフェデレーテッドラーニングのプライバシー・ユーティリティトレードオフにどのように影響するか。
• RQ3 ノイズ注入は、非IIDな医療画像環境下でのモデル精度と一般化性能にどのような影響を及ぼすか。
• RQ4 本提案フレームワークは、実世界の医療環境において、メンバーインファレンス攻撃やモデル逆転攻撃に対してどの程度保護を提供できるか。
• RQ5 プライバシー予算εの異なる値が、プライバシー保護と分類性能のバランスにどのように影響するか。

主な発見

• 提案された微分プライバシー付きフェデレーテッドラーニングフレームワークは、HAM10000データセットでF1スコア80.52%を達成し、プライバシー制約下でも競争力のある性能を示した。
• 非プライベートベースラインのモデル精度（90.68%）は、標準的なフェデレーテッドラーニングでは88.21%に低下し、微分プライバシーを適用した場合でも84.64%に維持された。
• 適応的プライバシー予算割り当て戦略により、時間経過に伴いプライバシー予算が段階的に削減された。学習が最も感受性の高い初期段階ではより多くのノイズが追加され、後期段階ではモデルのユーティリティを保つためにノイズを減少させた。
• 形式的な微分プライバシー機構により、個人の貢献が保護されるという強固なプライバシー保証を維持した。
• プライバシーとユーティリティのトレードオフは定量的かつ管理可能であり、厳密なプライバシー予算（例：ε ≈ 1–2）下でも、妥当な性能が達成された。
• 戦略的なプライバシー予算キャリブレーションにより、医療画像分類において高いモデルユーティリティと強力なプライバシー保護の実用的バランスが実現可能であることが確認された。

Figure 2: Detailed model architecture: MobileNetV2 as base model with a custom top.