[論文レビュー] Gender Privacy: An Ensemble of Semi Adversarial Networks for Confounding Arbitrary Gender Classifiers

Vahid Mirjalili, Sebastian Raschka+1 more|arXiv (Cornell University)|Jul 31, 2018

Face recognition and analysis被引用数 6

ひとこと要約

本稿では、顔認識システムの性能を維持しながら、任意の未知の性別分類器を欺くために多様な摂動を生成する、半教師付き対抗ネットワーク（SANs）のアンサンブルを提案する。異なるデータ拡張法を用いて複数のSANを訓練することで、未知の性別分類器に対して少なくとも1つの摂動出力が効果を発揮することを保証し、単一SANアプローチに比べて一般化性能が顕著に向上する。

ABSTRACT

Recent research has proposed the use of Semi Adversarial Networks (SAN) for imparting privacy to face images. SANs are convolutional autoencoders that perturb face images such that the perturbed images cannot be reliably used by an attribute classifier (e.g., a gender classifier) but can still be used by a face matcher for matching purposes. However, the generalizability of SANs across multiple arbitrary gender classifiers has not been demonstrated in the literature. In this work, we tackle the generalization issue by designing an ensemble SAN model that generates a diverse set of perturbed outputs for a given input face image. This is accomplished by enforcing diversity among the individual models in the ensemble through the use of different data augmentation techniques. The goal is to ensure that at least one of the perturbed output faces will confound an arbitrary, previously unseen gender classifier. Extensive experiments using different unseen gender classifiers and face matchers are performed to demonstrate the efficacy of the proposed paradigm in imparting gender privacy to face images.

研究の動機と目的

• 任意の未知の性別分類器に対して一般化性能が限界に達する単一の半教師付き対抗ネットワーク（SANs）の課題を解決すること。
• 多様で事前に未知の性別分類器に対して効果的な摂動を保証することで、顔画像における性別プライバシーを向上させること。
• 摂動を加えた画像においても顔認識性能を高い水準で維持し、バイオメトリクスの有用性を保つこと。
• 実世界のバイオメトリクスシステムに実用的かつ展開可能に適用可能な、プライバシー保護型顔画像変換手法を開発すること。

提案手法

• 異なるデータ拡張戦略を用いて訓練する5つの個別SANモデルのアンサンブルを訓練し、摂動パターンの多様性を促進する。
• 各SANは、再構成誤差を最小化するための損失と、性別分類器を欺くための損失の2つを組み合わせた双対損失で訓練される。同時に、顔認識性能の維持も重視する。
• 未学習のマッチャー（例：FaceNet、OpenFace）からの顔埋め込み間のコサイン類似度を用いて、摂動画像におけるバイオメトリクスの有用性を評価する。
• 各入力顔画像に対して5つの異なる摂動出力を生成し、性別分類器の信頼度スコアに基づいて各画像ごとに最も優れた摂動を選択する。
• 実際の応用では、未知の分類器に対して耐性を持つよう、5つの摂動出力のうちランダムに1つを選択する。
• 4つのベンチマークデータセット（CelebA-test、MORPH-test、MUCT、LFW、RaFD）を用い、複数の未知の性別分類器と顔マッチャーを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 未知の任意の性別分類器を欺くという点で、アンサンブルSANは単一SANよりも一般化性能が優れているか？
• RQ2 複数のSANモデル間での摂動の多様性が、未知の性別分類器に対する耐性を向上させるか？
• RQ3 摂動処理後、複数の未知の顔マッチャーにおいて、顔認識性能はどの程度維持されるか？
• RQ4 アンサンブルからのランダム選択によって、ターゲットの性別分類器の事前知識なしに強力な性別プライバシーを達成できるか？

主な発見

• E3アンサンブルSANは、単一SANモデルに比べて、未知の性別分類器を欺く性能で顕著に優れており、少なくとも1つの摂動出力がすべてのテスト分類器の性能を低下させた。
• 平均して、E3アンサンブルの最良摂動出力は、元の画像と比較して性別分類器のAUCを30%以上低下させ、強力な欺瞞能力を示した。
• 顔マッチャー性能はほとんど維持された：M-COTSとDR-GANは、摂動画像と元の画像でほぼ同一の性能を示し、DR-GANではRaFDでのみわずかな劣化が見られた。
• FaceNetとOpenFaceは摂動画像においてわずかな性能低下を示したが、これは摂動に対して高い耐性を示していることを示している。
• アンサンブルからのランダム選択は、いかなる単一SANモデルよりも優れた欺瞞性能を達成しており、多様性の価値を裏付けた。
• 本手法は、全4つの評価データセットでバイオメトリクスの有用性を維持しており、実世界への展開に実用的であることを証明した。