[論文レビュー] Pseudo Label-Guided Model Inversion Attack via Conditional Generative Adversarial Network

Xiaojian Yuan, Kejiang Chen+4 more|arXiv (Cornell University)|Feb 20, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、上位n選択戦略に基づく偽ラベルを用いて潜在空間をクラスごとに分離する、条件付きGANベースの新規な攻撃手法であるPseudo Label-Guided Model Inversion (PLG-MI)を提案する。この手法により、プライベートデータの標的再構築が可能となる。交差エントロピー損失の代わりにマックスマージン損失を採用することで、勾配消失を軽減し、最先端の攻撃成功率を達成。特に、分布シフトが大きい状況下でも、従来手法に比べ最大2.5倍高い性能を発揮する。

ABSTRACT

Model inversion (MI) attacks have raised increasing concerns about privacy, which can reconstruct training data from public models. Indeed, MI attacks can be formalized as an optimization problem that seeks private data in a certain space. Recent MI attacks leverage a generative adversarial network (GAN) as an image prior to narrow the search space, and can successfully reconstruct even the high-dimensional data (e.g., face images). However, these generative MI attacks do not fully exploit the potential capabilities of the target model, still leading to a vague and coupled search space, i.e., different classes of images are coupled in the search space. Besides, the widely used cross-entropy loss in these attacks suffers from gradient vanishing. To address these problems, we propose Pseudo Label-Guided MI (PLG-MI) attack via conditional GAN (cGAN). At first, a top-n selection strategy is proposed to provide pseudo-labels for public data, and use pseudo-labels to guide the training of the cGAN. In this way, the search space is decoupled for different classes of images. Then a max-margin loss is introduced to improve the search process on the subspace of a target class. Extensive experiments demonstrate that our PLG-MI attack significantly improves the attack success rate and visual quality for various datasets and models, notably, 2~3 $ imes$ better than state-of-the-art attacks under large distributional shifts. Our code is available at: https://github.com/LetheSec/PLG-MI-Attack.

研究の動機と目的

• 既存のモデルインバージョン攻撃の限界、特にクラス結合された潜在空間と最適化における勾配消失を解消すること。
• 顔画像のような高次元データにおける攻撃性能を向上させること、特に公開データとプライベートデータの分布が著しく異なる場合に有効であること。
• 異なるクラスのための探索空間を分離することで、特徴の混同を低減し、再構築精度を向上させること。
• 多様なターゲットモデルアーキテクチャに一般化可能な、より強固で効率的な攻撃フレームワークを開発すること。
• 最適化の後段階で交差エントロピー損失が効果を発揮しない問題を解決するため、タスク固有のマックスマージン損失を導入すること。

提案手法

• 公開データに対して、プライベートデータとの類似度に基づき上位n選択戦略を用いて偽ラベルを割り当て、GAN学習中にクラス固有のガイダンスを提供する。
• これらの偽ラベルを用いて条件付きGAN（cGAN）を訓練し、クラス固有の画像事前分布を学習することで、潜在空間をクラスサブスペースに分離する。
• 潜在ベクトル探索段階でマックスマージン損失を適用し、生成器がターゲットクラスの画像を生成するよう明示的に制約することで、最適化の安定性を向上させる。
• クラス固有の明確な制約を導入し、クラス情報の直接的な埋め込みを生成器の潜在空間に実施することで、クラス間の干渉を低減する。
• 潜在探索段階でデータ拡張を組み込むことで、耐性と視覚的品質を向上させ、最適な性能は2回の拡張で達成される。
• 攻撃を2段階に分離する：(1) 偽ラベルを用いた公開データ上のcGAN訓練、(2) ターゲットクラスサブスペースに限定した潜在ベクトル探索。

実験結果

リサーチクエスチョン

• RQ1 公開データから導出された偽ラベルは、モデルインバージョン攻撃における潜在空間の特異性と分離性を向上させることができるか？
• RQ2 交差エントロピー損失をマックスマージン損失に置き換えることで、勾配消失が軽減され、潜在空間最適化における収束が改善されるか？
• RQ3 1つのモデルアーキテクチャで訓練したcGANが、異なるターゲットモデルアーキテクチャに一般化して攻撃に使用できるか？
• RQ4 公開データとプライベートデータの間で分布シフトが大きい場合、攻撃性能はどの程度低下するか？また、PLG-MIは高い成功率を維持できるか？
• RQ5 PLG-MIフレームワークにおけるハイパーパrameter（上位n選択サイズや制約強度など）の最適な設定は何か？

主な発見

• FFHQを公開データとして使用した場合、VGG16では89%の攻撃正答率を達成し、大規模な分布シフト下でKED-MIに比べ2.5倍の向上を示した。
• FaceScrubを公開データとして使用した場合、平均してKED-MIに比べ50%高い攻撃正答率を維持し、分布シフトに対して高い耐性を示した。
• FIDスコアはKED-MIと比較して約3倍改善され、再構築画像の視覚的品質の向上が顕著に確認された。
• Face.evoLVeおよびResNet-152の両方で95%を超える攻撃正答率を達成し、評価されたすべてのモデルで最先端のベースラインを上回った。
• cGANをVGG16で訓練したが、攻撃対象をResNet-152にした場合、PLG-MIは81%の攻撃正答率を達成したのに対し、KED-MIはたった12%にとどまり、アーキテクチャ間での一般化能力が顕著に優れていることが証明された。
• アブレーションスタディにより、マックスマージン損失とデータ拡張（2回）が最も効果的であることが確認され、2回を超えると性能は頭打ちとなった。