[論文レビュー] Recent Advances of Differential Privacy in Centralized Deep Learning: A Systematic Survey

Lea Demelius, Roman Kern+1 more|arXiv (Cornell University)|Sep 28, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿は、近年の微分プライバシーを適用した集中型ディープラーニング（DP-DL）における進展を体系的にレビューし、プライバシーと有効性のトレードオフ、監査手法、メンバー情報および属性推定攻撃を超えた脅威の緩和、生成モデル、実世界の応用を焦点にしている。2019年から2023年までの主な研究動向を特定し、未解決の問題を浮き彫りにした上で、標準化されたベンチマーク、繰り返しの監査、統一された分類体系の整備を提言し、信頼性があり数学的にプライバシーが保証されたAIの発展を促進する。

ABSTRACT

Differential Privacy has become a widely popular method for data protection in machine learning, especially since it allows formulating strict mathematical privacy guarantees. This survey provides an overview of the state-of-the-art of differentially private centralized deep learning, thorough analyses of recent advances and open problems, as well as a discussion of potential future developments in the field. Based on a systematic literature review, the following topics are addressed: auditing and evaluation methods for private models, improvements of privacy-utility trade-offs, protection against a broad range of threats and attacks, differentially private generative models, and emerging application domains.

研究の動機と目的

• 2019年から2023年までの微分プライバシーを適用した集中型ディープラーニングにおける最近の進展を包括的かつ体系的にレビューすること。
• モデル評価、プライバシーと有効性のトレードオフ、多様なプライバシー脅威に対する防御を含む、現在の研究動向を分析すること。
• 合成データ生成や用語の標準化に関する問題を含め、DP-DLにおける未解決の問題と今後の研究方向性を特定すること。
• 非凸的かつ高次元のディープラーニングモデルを対象とし、集中型DP-DLとフェデレーテッドおよび分散型ラーニングを区別すること。
• 改善されたベンチマーク、繰り返しの監査、一貫性のある分類体系の整備を提言し、プライバシー脅威の定義に関する曖昧さを解消すること。

提案手法

• Scopusを用いた体系的文献レビューを実施。キーワードとして「differential privacy」と「neural network」、「deep learning」、または「machine learning」を組み合わせ、タイトルまたは要約に「federated」や「distributed」を含まないものを対象とした。
• 明確に定義された含む・除外する基準を適用し、英語で発表され、コンピュータサイエンスまたは工学分野のジャーナルおよび会議録に掲載された論文、カンferンペーパー、レビュー、書籍の章を対象とした。
• 研究の焦点に基づき、132件の関連論文を分類・分析した。分類は以下の通り：監査・評価、プライバシーと有効性のトレードオフ、メンバー情報・属性推定攻撃を超えた脅威モデリング、生成モデル、応用分野。
• DP-SGDおよびその変種におけるプライバシー会計、ノイズ注入（例：ガウス分布、ラプラス分布）、最適化手法（例：クリッピング、適応的学習率）の既存手法を評価した。
• モデルアーキテクチャ、データ依存性、因果モデル化がプライバシー保証と有効性に与える影響を評価した。
• 文献の統合に基づき、6つの主要な知見を提言した。特に、現実的なデータセットの必要性、繰り返しの監査、攻撃モデリングを活用したプライバシー損失のより現実的な上界の改善が含まれる。

実験結果

リサーチクエスチョン

• RQ1 2019年以降、微分プライバシーを適用したディープラーニングにおけるプライバシーと有効性のトレードオフはどのように改善されたか？
• RQ2 微分プライバシーを適用したディープラーニングモデルの監査および評価における現在のベストプラクティスと限界は何か？
• RQ3 微分プライバシーは、メンバー情報および属性推定攻撃を超えた脅威に対し、どの程度保護を提供するか？
• RQ4 深層生成モデルを用いた微分プライバシーを適用した合成データ生成における課題と機会は何か？
• RQ5 プライバシー研究における用語と定義を標準化することで、文献における矛盾をどのように解消できるか？

主な発見

• 体系的文献レビューにより、2019年から2023年までのDP-DLにおける6つの主要な研究動向を同定した：監査・評価、プライバシーと有効性のトレードオフ、標準的攻撃を超えた脅威モデリング、生成モデル、応用分野特化型の展開、用語の標準化。
• 現在のベンチマークには、プライバシー特徴を有する現実的なデータセットが不足しており、実世界の条件下でのDP-DL手法の評価が制限されている。
• 継続的なプライバシー保証を確保するためには、繰り返しの監査が不可欠である。訓練過程や特定の攻撃シナリオにおいて、プライバシー漏洩が後から発生する可能性があるためである。
• 攻撃仮定とモデル固有の特性をプライバシー会計に組み込むことで、より現実的なプライバシー損失の上界を達成できる。
• 適応的クリッピング、ノイズスケジューリング、改善された最適化手法といった最良の手法の組み合わせにより、プライバシーと有効性のトレードオフを顕著に改善できる。
• 合成データ生成は本質的にプライバシーを保証するものではなく、微分プライバシーを適用した生成モデルは、エンド・ツー・エンドのプライバシー保証を確保するための専用の研究を要する。