[論文レビュー] Privacy in Deep Learning: A Survey

Fatemehsadat Mireshghallah, Mohammadkazem Taram+4 more|arXiv (Cornell University)|Apr 25, 2020

Privacy-Preserving Technologies in Data参考文献 152被引用数 98

ひとこと要約

この調査は深層学習におけるプライバシー脅威をレビューし、データ集約、トレーニング、およびテスト時推論における既存の防御機構を調査し、テスト時推論のプライバシーにギャップがあることを今後の方向性とともに指摘する。

ABSTRACT

The ever-growing advances of deep learning in many areas including vision, recommendation systems, natural language processing, etc., have led to the adoption of Deep Neural Networks (DNNs) in production systems. The availability of large datasets and high computational power are the main contributors to these advances. The datasets are usually crowdsourced and may contain sensitive information. This poses serious privacy concerns as this data can be misused or leaked through various vulnerabilities. Even if the cloud provider and the communication link is trusted, there are still threats of inference attacks where an attacker could speculate properties of the data used for training, or find the underlying model architecture and parameters. In this survey, we review the privacy concerns brought by deep learning, and the mitigating techniques introduced to tackle these issues. We also show that there is a gap in the literature regarding test-time inference privacy, and propose possible future research directions.

研究の動機と目的

• 深層学習の展開におけるクラウドソースされたデータおよびセンシティブなトレーニングデータに起因するプライバシー問題を喚起する。
• 深層学習における既知のプライバシー脅威を分類・要約する（直接的な露出と間接推論攻撃を含む）。
• データ集約、トレーニング、および推論フェーズ全体にわたる既存のプライバシー保護機構を調査する。
• 文献のギャップ、特にテスト時推論のプライバシーに関するギャップを特定し、今後の研究の方向性を提案する。

提案手法

• プライバシー脅威をカタログ化する：直接的な情報露出と間接推論攻撃（メンバーシップ推論、モデル反転、ハイパーパラメータ/パラメータ推論、特性推論）。
• プライバシー保護アプローチを3つのグループに分類する：データ集約プライバシー、プライベートトレーニング、プライベート推論。
• ディファレンシャルプライバシー、セキュア計算（HE/SMC）、情報理論的/プライバシー対応手法を説明・比較する。
• 白箱対黒箱のアクセス、および信頼度/logitsの使用に関して代表的な攻撃と防御を要約する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングと推論を含む深層学習モデルが直面する主なプライバシー脅威は何か？
• RQ2 データ集約・プライベートトレーニング・プライベート推論のために存在するプライバシー保護メカニズムは何で、それらはどう比較されるか。
• RQ3 現在の研究でどのようなギャップがあり、特にテスト時推論時のプライバシーに関して、今後の研究はどこに焦点を当てるべきか。

主な発見

• プライバシー脅威には、データキュレーター、通信、クラウドサービスを通じた直接的なデータ露出、および間接推論攻撃（メンバーシップ推論、モデル/反転、属性/ハイパーパラメータ推論、モデル盗用）が含まれる。
• プライバシー保護手法は主にデータ集約、プライベートトレーニング、プライベート推論の3つに分類され、コア技術としてディファレンシャルプライバシー、同型暗号、セキュア・マルチパーティ計算が挙げられる。
• ディファレンシャルプライバシーは、トレーニングパイプラインの複数のポイント（入力、損失、勾配、出力、ラベル）に適用でき、組み合わせにはモーメントアカウンタのようなメカニズムを使用するが、ユーティリティの損失やサブグループ間の不均等な影響を招くことがある。
• HE and SMCは暗号化データ上の計算や複数の当事者間の計算を可能にするが、計算コストと通信コストが高く、ニューラルネットワークの実用性に影響を与える。
• 推論時のユーザー入力を保護する研究が比較的不足しており、トレーニングと比べてテスト時推論のプライバシーに関する研究が顕著に不足している。