[論文レビュー] Adversarial Learning of Privacy-Preserving and Task-Oriented Representations

Taihong Xiao, Yi‐Hsuan Tsai+3 more|arXiv (Cornell University)|Nov 22, 2019

Privacy-Preserving Technologies in Data参考文献 37被引用数 7

ひとこと要約

この論文は、訓練中にモデル逆転攻撃をシミュレートすることで、タスク最適化とプライバシー保護の両方を達成するための敵対的学習フレームワークを提案している。エンコーダとデコーダの間でミニマックスゲームを実行し、負の再構成損失（ピクセルまたは知覚的損失）を最小化することで、潜在的特徴量から元の入力を再構成するリスクを低減し、顔属性予測タスクにおけるユーティリティ性能の低下を最小限に抑えながら強力なプライバシー保護を実現している。

ABSTRACT

Data privacy has emerged as an important issue as data-driven deep learning has been an essential component of modern machine learning systems. For instance, there could be a potential privacy risk of machine learning systems via the model inversion attack, whose goal is to reconstruct the input data from the latent representation of deep networks. Our work aims at learning a privacy-preserving and task-oriented representation to defend against such model inversion attacks. Specifically, we propose an adversarial reconstruction learning framework that prevents the latent representations decoded into original input data. By simulating the expected behavior of adversary, our framework is realized by minimizing the negative pixel reconstruction loss or the negative feature reconstruction (i.e., perceptual distance) loss. We validate the proposed method on face attribute prediction, showing that our method allows protecting visual privacy with a small decrease in utility performance. In addition, we show the utility-privacy trade-off with different choices of hyperparameter for negative perceptual distance loss at training, allowing service providers to determine the right level of privacy-protection with a certain utility performance. Moreover, we provide an extensive study with different selections of features, tasks, and the data to further analyze their influence on privacy protection.

研究の動機と目的

• 機械学習システムにおけるデータ漏洩リスク、特に潜在的表現から入力データを再構成するモデル逆転攻撃の増加に対処すること。
• 下流タスクのユーティリティを維持するとともに、深層表現における視覚的プライバシーを保護する手法を開発すること。
• デコーダが特徴量を入力空間に逆転させるのを模倣することで、訓練中に攻撃者の行動をシミュレートすること。
• 再構成損失のハイパーパrameter制御により、調整可能なユーティリティ-プライバシーのトレードオフを提供すること。
• 特徴量層の選択、タスクの種別、攻撃者用データの影響がプライバシー保護に与える影響を実証的に評価すること。

提案手法

• エンコーダ（Enc）とデコーダ（Dec）の間でミニマックス敵対的学習を実施するフレームワークであり、Decは潜在的特徴量から入力データを再構成することを学習し、Encは再構成誤差を最大化することを学習する。
• エンコーダは負の再構成損失を最適化する：再構成済みと元の入力の間の負のピクセル単位または知覚的（特徴ベース）距離を最小化する。
• タスク固有の損失（例：顔属性予測）と敵対的再構成損失を組み合わせた目的関数により、ユーティリティとプライバシーのバランスをとる。
• 知覚的損失は、事前学習済みの特徴抽出器 g を用いて計算され、再構成済み画像と元の画像の深層特徴の間の L2 距離を測定する。
• ブラックボックスのモデル逆転攻撃を模倣するように、エンコーダとデコーダを交互に最適化することで、エンドツーエンドで訓練する。
• 本手法は、複数の ResNet-50 の層、さまざまなタスク（例：顔属性予測）、およびデコーダ用の攻撃者データを変化させた状況で評価されている。

実験結果

リサーチクエスチョン

• RQ1 モデル逆転攻撃をシミュレートする敵対的学習は、潜在的表現から元の入力データを再構成するリスクを効果的に低減できるか？
• RQ2 特徴量層の選択（浅い層対深い層）が、学習済み表現におけるプライバシーとユーティリティのバランスにどのように影響するか？
• RQ3 異なる種類の攻撃者データ（同じ分布または異なる分布からのもの）が、プライバシー保護の効果に与える影響は何か？
• RQ4 知覚的損失を制御するハイパーパrameterが、最終モデルにおけるユーティリティ-プライバシーのトレードオフにどのように影響するか？
• RQ5 明示的なアイデンティティの監視がなくても、学習済み表現がアイデンティティ不変性をどれほど保持しているか？

主な発見

• 提案手法は、特に浅い層において、再構成済み画像と元の画像の顔類似度を顕著に低下させ、モデル逆転攻撃に対する強い耐性を示している。
• 学習済み特徴量の LDA スコア（S_b/S_w）は、ベースラインと比較して一貫して低く、より均一な分布と優れたプライバシー保護を示している。
• 顔属性予測性能（MCC）は敵対的学習後も高い水準を維持しており、ユーティリティの低下が最小限であることが示された。
• 本手法は調整可能なユーティリティ-プライバシーのトレードオフを達成している：知覚的損失の重みを増やすことで再構成品質は低下するが、プライバシー保護は向上する。
• アイデンティティの監視がなくても、モデルはアイデンティティに依存しない表現を学習しており、アイデンティティ漏洩に対する耐性が示された。
• 知覚的損失や GAN ベースの損失を用いた強力な逆転攻撃に対しても、標準的な深層特徴量よりも本手法が優れた耐性を示した。