[論文レビュー] Property Inference Attacks Against GANs

Junhao Zhou, Yufei Chen+2 more|arXiv (Cornell University)|Nov 15, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、生成対戦ネットワーク（GANs）に対する初のプロパティ推定攻撃を提示しており、モデルのパラメータや学習データにアクセスできない状況でも、生成されたサンプルのみを用いて、人口統計的割合などのマクロレベルの学習データセットの特性を推定可能である。攻撃は完全ブラックボックスおよび部分ブラックボックス設定の両方で高い正確性を達成しており、後者の設定ではクエリコストを低減するための新規最適化フレームワークを導入している。

ABSTRACT

While machine learning (ML) has made tremendous progress during the past decade, recent research has shown that ML models are vulnerable to various security and privacy attacks. So far, most of the attacks in this field focus on discriminative models, represented by classifiers. Meanwhile, little attention has been paid to the security and privacy risks of generative models, such as generative adversarial networks (GANs). In this paper, we propose the first set of training dataset property inference attacks against GANs. Concretely, the adversary aims to infer the macro-level training dataset property, i.e., the proportion of samples used to train a target GAN with respect to a certain attribute. A successful property inference attack can allow the adversary to gain extra knowledge of the target GAN's training dataset, thereby directly violating the intellectual property of the target model owner. Also, it can be used as a fairness auditor to check whether the target GAN is trained with a biased dataset. Besides, property inference can serve as a building block for other advanced attacks, such as membership inference. We propose a general attack pipeline that can be tailored to two attack scenarios, including the full black-box setting and partial black-box setting. For the latter, we introduce a novel optimization framework to increase the attack efficacy. Extensive experiments over four representative GAN models on five property inference tasks show that our attacks achieve strong performance. In addition, we show that our attacks can be used to enhance the performance of membership inference against GANs.

研究の動機と目的

• 生成モデル、特にGANsのプライバシーおよびセキュリティ分析が、メンバー推定を越えて十分に行われていないという問題に対処する。
• モデルパラメータや学習データにアクセスできない敵が、GANの学習データセットのマクロレベルの特性を推定できるかどうかを調査する。
• 完全ブラックボックスおよび部分ブラックボックス設定の両方で有効な一般化可能な攻撃パイプラインを開発する。
• プロパティ推定が、メンバー推定のようなより高度な攻撃の基盤として機能できることを実証する。
• GANにおけるバイアスのある学習データを検出できる公平性監査メカニズムを提供する。

提案手法

• 一般化可能な攻撃パイプラインを提案：ターゲットGANにクエリを送信して生成されたサンプルを取得し、その後、ターゲット属性（例：性別、肌の色）に基づいてサンプルを分類するプロパティ分類器を用いる。
• 完全ブラックボックス設定では、ランダムにサンプリングされた潜在コードを用いて多様なサンプルを生成し、プロパティ分類に用いる。
• 部分ブラックボックス設定では、1回のクエリあたりの情報量を最大化するための新規最適化フレームワークを導入し、最適化された潜在コードの集合を生成する。
• シャドウモデルを活用して潜在コードの最適化を支援することで、攻撃の効率を向上させ、クエリ回数を削減する。
• プロパティ推定タスクを回帰問題として定式化し、二値分類にとどまらず、連続的な割合（例：白人の女性が30％）を予測する。
• 予測されたプロパティを用いて、人口統計的分布やデータバイアスといったグローバルなデータセット特性を推定する。

実験結果

リサーチクエスチョン

• RQ1 敵がモデルパラメータや学習データにアクセスできない状況でも、生成されたサンプルのみを用いて、GANの学習データセットのマクロレベルの特性を推定できるか？
• RQ2 ランダムサンプリングしか許されない完全ブラックボックス設定において、プロパティ推定はどの程度有効か？
• RQ3 制限されたクエリ回数の部分ブラックボックス設定において、最適化された潜在コード生成フレームワークが攻撃性能を向上させられるか？
• RQ4 プロパティ推定は、GANに対するメンバー推定攻撃をどの程度強化できるか？
• RQ5 プロパティ推定は、GANにおけるバイアスのある学習データを検出できる公平性監査ツールとして機能できるか？

主な発見

• 提案されたプロパティ推定攻撃は、複数のGANモデルおよびデータセットにおいて、性別や肌の色の分布といった学習データセットの特性を高い正確性で推定している。
• CelebAデータセットにおける性別予測タスクでは、訓練データセット内の白人の女性の割合を推定する際、平均絶対誤差が0.05未満に抑えられている。
• 最適化された潜在コードを用いた部分ブラックボックス攻撃は、ランダムサンプリングに比べてクエリ回数を顕著に削減し、同等またはより高い性能を達成している。
• 攻撃は限られたクエリ予算でも強く安定しており、完全ブラックボックスおよび部分ブラックボックス設定の両方でベースライン手法を上回っている。
• プロパティ推定の結果は、メンバー推定攻撃の改善に活用可能であり、高度なプライバシー攻撃の基盤技術としての可能性を示している。
• 本手法は、バイアスのある学習データ分布を効果的に検出できており、GANにおける公平性監査ツールとしての有効性が裏付けられている。