[論文レビュー] Variational Model Inversion Attacks

Kuan-Chieh Wang, Yan Fu+4 more|arXiv (Cornell University)|Jan 26, 2022

Adversarial Robustness in Machine Learning被引用数 32

ひとこと要約

本論文はモデル反転攻撃を変 分推論として位置づけ、現実的で多様な攻撃画像を生成する共通ジェネレータを用いた変分目的関数を実装するVIベースのアプローチを提案し、従来法よりターゲットの精度と現実性を改善します。

ABSTRACT

Given the ubiquity of deep neural networks, it is important that these models do not reveal information about sensitive data that they have been trained on. In model inversion attacks, a malicious user attempts to recover the private dataset used to train a supervised neural network. A successful model inversion attack should generate realistic and diverse samples that accurately describe each of the classes in the private dataset. In this work, we provide a probabilistic interpretation of model inversion attacks, and formulate a variational objective that accounts for both diversity and accuracy. In order to optimize this variational objective, we choose a variational family defined in the code space of a deep generative model, trained on a public auxiliary dataset that shares some structural similarity with the target dataset. Empirically, our method substantially improves performance in terms of target attack accuracy, sample realism, and diversity on datasets of faces and chest X-ray images.

研究の動機と目的

• ターゲット分類器p_tar(y|x)からデータ生成分布p_tar(x|y)を回復するための確率的・変分的フレームワークを提供する。
• 公開データセットを活用して共通ジェネレータを学習し、サンプルを現実的な多様性を持つマンフォールドに制約しつつ多様性を許容する。
• パワーポステオリオ Objectiveとしてgammaという調整可能なパラメータを導入し、精度と多様性をトレードオフする。
• 共通ジェネレータを用いた変分目的が従来のMI法より現実性と多様性が高く、画像データセットおよび医用データセットでターゲット精度を向上させることを示す。

提案手法

• MIをターゲット後方分布へのKL発散を最小化する変分推論問題として定式化し、補助事前分布を用いる。
• 公開補助データセットを用いて補助的な画像事前分布p_aux(x)をGAN生成モデルG(z)により学習する。
• 変分族q(x)を共通ジェネレータによって定義される多様体上に制約し、すなわちq(x)=E_{q(z)}[p_g(x|z)]とする。
• パワーポステオリオ目的L_vmi^gamma(q)=E_{z~q(z)}[-log p_tar(y|G(z))]+gamma KL(q(z)||p_aux(z))を導入する。
• StyleGANベースの生成については、拡張されたw空間で最適化を行い、階層的な流れベースの変分族q(z_l)を用いて層間の多様性を捉える。

実験結果

リサーチクエスチョン

• RQ1 モデル反転攻撃を変分推論問題として再構成し、 principled な目的関数で解決できるか。
• RQ2 共通ジェネレータを公的データで学習することで、顔画像や医用画像のような高次元ターゲットに対して現実的で多様な反転サンプルを得られるか。
• RQ3 パワーポステオリオでgammaを調整すると、攻撃サンプルの精度と多様性のトレードオフにどのような影響を与えるか。
• RQ4 拡張StyleGAN潜在空間での最適化は、DCGANまたはピクセル空間法と比べて攻撃の現実性とターゲット精度を改善するか。
• RQ5 VIベースの攻撃は、複数データセットにおいて、ターゲット精度、現実性（FID）、多様性の観点で従来のMI法と比較してどうか。

主な発見

手法	Accuracy (MNIST)	Accuracy (CelebA)	Accuracy (CXR)	FID (MNIST)	FID (CelebA)	FID (CXR)
General MI	0 ± 0.00	0 ± 0.00	0.23 ± 0.29	376.7 (57.4)	421.21 (31.3)	499.54 (96.3)
Generative MI	0.92 ± 0.02	0.07 ± 0.02	0.28 ± 0.25	88.91 (57.4)	43.21 (31.3)	142.66 (96.3)
VMI w/ DCGAN	0.95 ± 0.02	0.37 ± 0.07	0.42 ± 0.28	77.73 (57.4)	40.89 (31.3)	265.14 (96.3)
VMI w/ StyleGAN	-	0.55 ± 0.06	0.69 ± 0.23	-	17.41 (19.2)	123.17 (57.0)

• 変分目的は、MNIST、CelebA、ChestX-rayの各データセットでベースラインより高いターゲット精度と低いFIDを示す。
• zに対する流れベースの変分族を用いると、ガウス分布バリエーションより精度が向上する。
• 拡張されたw-spaceと階層的変分最適化を備えたStyleGANは、現実性と多様性の両方を高める。
• gammaを増加させると一般に多様性と現実性は向上するが、平均精度が低下することがあり、精度—多様性のトレードオフを調整できることを示す。
• VMIは報告されたメトリクスにおいて、3つのタスクすべてでGenerative MIおよびGeneral MIのベースラインより優れている。