[論文レビュー] Improved Techniques for Model Inversion Attacks

Si Chen, Ruoxi Jia+1 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 17被引用数 15

ひとこと要約

本論文は、深層ニューラルネットワークからのトレーニングデータの再構成品質を著しく向上させる高度なモデル逆転攻撃技術を提案する。公開データとプライベートデータの間で分布が大きくずれている状況でも、生成対抗ネットワーク（GAN）の逆転用途に特化した訓練と、単一の点への再構成ではなく、プライベートデータの分布をモデル化することにより、最先端の性能を達成する。

ABSTRACT

Model inversion (MI) attacks in the whitebox setting are aimed at reconstructing training data from model parameters. Such attacks have triggered increasing concerns about privacy, especially given a growing number of online model repositories. However, existing MI attacks against deep neural networks (DNNs) have large room for performance improvement. A natural question is whether the underperformance is because the target model does not memorize much about its training data or it is simply an artifact of imperfect attack algorithm design? This paper shows that it is the latter. We present a variety of new techniques that can significantly boost the performance of MI attacks against DNNs. Recent advances to attack DNNs are largely attributed to the idea of training a general generative adversarial network (GAN) with potential public data and using it to regularize the search space for reconstructed images. We propose to customize the training of a GAN to the inversion task so as to better distill knowledge useful for performing attacks from public data. Moreover, unlike previous work that directly searches for a single data point to represent a target class, we propose to model private data distribution in order to better reconstruct representative data points. Our experiments show that the combination of these techniques can lead to state-of-the-art attack performance on a variety of datasets and models, even when the public data has a large distributional shift from the private data.

研究の動機と目的

• 深層ニューラルネットワークに対する既存のモデル逆転攻撃の性能不足は、モデルの記憶限界によるものではなく、最適でないアルゴリズム設計に起因することを解決する。
• タスクに特化したGANのカスタマイズにより、公開データをより効率的に活用することで攻撃の効果を高める。
• 単一の点への再構成を越えて、プライベートデータの背後にある分布をモデル化することで、より代表的で正確な画像生成を実現する。
• 公開データの分布がプライベートトレーニングデータと著しく異なる場合でも、安定した性能を発揮することを実現する。
• 多様なデータセットおよびモデルアーキテクチャにおいて、最先端のモデル逆転性能を示す。

提案手法

• モデル逆転の目的に特化した生成対抗ネットワーク（GAN）の訓練をカスタマイズし、公開データから有用な知識をより効果的に抽出できるようにする。
• 一般的なGANに代わり、逆転目的に適合したタスク認識型GANを導入することで、生成画像の品質と関連性を向上させる。
• 単一のデータポイントを標的としないで、プライベートデータの分布をモデル化することで、より正確で代表的な再構成を可能にする。
• カスタマイズされたGANを正則化項として用い、逆転プロセス中の探索空間を制約することで収束性と忠実度を向上させる。
• GANに基づく事前分布を勾配ベースの最適化と統合し、モデルパラメータから画像を再構成する。
• 分布のズレが生じる状況でも、公開データの統計的性質を活用して逆転プロセスをガイドする。

実験結果

リサーチクエスチョン

• RQ1 モデル逆転に特化したGANの訓練をカスタマイズすることで、一般的なGANを用いた場合と比較して再構成品質が著しく向上するか？
• RQ2 プライベートデータ分布をモデル化することで、個々のデータポイントの再構成よりも優れた逆転結果が得られるか？
• RQ3 公開データの分布がプライベートトレーニングデータと著しく異なる場合、提案手法の有効性はどの程度か？
• RQ4 提案手法は、異なるデータセットおよびモデルにおいて、既存の最先端手法をどの程度上回るか？
• RQ5 性能向上は、最適化の改善によるものか、それともカスタマイズされたGAN事前分布による誘導バイアスの向上によるものか？

主な発見

• 提案手法は、複数のデータセットおよびモデルアーキテクチャにおいて、最先端のモデル逆転性能を達成した。
• カスタマイズされたGANの訓練により、標準的なGANベースのベースラインと比較して再構成忠実度が著しく向上した。
• プライベートデータ分布のモデル化は、単一の点への再構成よりも、より代表的で現実的であると感じられる再構成画像を生成した。
• 公開データの分布がプライベートデータから著しくずれている場合でも、攻撃は依然として有効であり、頑健性を示した。
• 分布モデリングとタスク特化型GAN正則化の組み合わせにより、視覚的品質と定量的指標の両面で顕著な改善が得られた。
• 特にデータアライメントが限られている困難な状況下でも、再構成の正確性と多様性の両面で、先行手法を上回る性能を発揮した。