[論文レビュー] VGAN-Based Image Representation Learning for Privacy-Preserving Facial Expression Recognition

Jiawei Chen, Janusz Konrad+1 more|arXiv (Cornell University)|Mar 19, 2018

Face recognition and analysis参考文献 24被引用数 12

ひとこと要約

本稿では、プライバシー保護型顔の感情認識のためのアイデンティティ不変顔表現を学習する変分GANフレームワーク、PPRL-VGANを提案する。潜在空間においてアイデンティティと感情を分離することで、新しいアイデンティティを用いても表情を保持したリアルな顔画像合成が可能となり、複数の脅威シナリオ下でも高い表情認識精度と視覚的有用性を維持する。

ABSTRACT

Reliable facial expression recognition plays a critical role in human-machine interactions. However, most of the facial expression analysis methodologies proposed to date pay little or no attention to the protection of a user's privacy. In this paper, we propose a Privacy-Preserving Representation-Learning Variational Generative Adversarial Network (PPRL-VGAN) to learn an image representation that is explicitly disentangled from the identity information. At the same time, this representation is discriminative from the standpoint of facial expression recognition and generative as it allows expression-equivalent face image synthesis. We evaluate the proposed model on two public datasets under various threat scenarios. Quantitative and qualitative results demonstrate that our approach strikes a balance between the preservation of privacy and data utility. We further demonstrate that our model can be effectively applied to other tasks such as expression morphing and image completion.

研究の動機と目的

• スマート環境で使用される顔の感情認識システムにおける視覚的プライバシー懸念の増大に対処すること。
• ユーザーのアイデンティティを保護しつつ、表情認識タスクに高い有用性を維持する手法を開発すること。
• 視覚的品質を損なわせることなく、代替アイデンティティを用いても表情を保持したリアルな顔画像合成を可能にすること。
• 表情認識を超えた応用分野への適用可能性を示すこと、特に表情のモーフィングと画像補完を含む。
• 複数の脅威シナリオ下でのモデル評価を通じて、プライバシー保護設定における耐性を検証すること。

提案手法

• モデルは変分オートエンコーダー（VAE）と生成対抗ネットワーク（GAN）を統合し、GANのランダムノイズ入力を、入力画像を分離された潜在表現にマップするVAEエンコーダーに置き換える。
• エンコーダーはアイデンティティに依存しない潜在表現 f(I) を生成し、デコーダーは指定されたアイデンティティコード c を用いて、入力の表情を保持した顔画像を合成する。
• マルチタスクディスクライマーは、本物と生成画像の区別、アイデンティティの認識、顔の表情分類を同時に学習し、リアルさと分離性の向上にフィードバックを提供する。
• 潜在表現 f(I) は表情認識に使用され、デコーダーは異なるアイデンティティを持つ表情同等の画像合成を可能にする。
• 潜在空間における線形補間により、異なる表情の表現間を滑らかに遷移させる表情のモーフィングが実現できる。
• 画像補完のため、モデルは潜在コードとアイデンティティコードから顔全体を生成し、マスクされた領域を合成された内容に置き換えることで欠損領域を再構築する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、表情認識に有用でありつつアイデンティティに対して不変な顔表現を学習できるか？
• RQ2 表情認識タスクにおけるデータ有用性を維持しつつ、どの程度視覚的プライバシーを保護できるか？
• RQ3 合成および認識タスクにおいて、未観測のアイデンティティや表情カテゴリにどの程度一般化できるか？
• RQ4 学習された潜在空間は、表情のモーフィングや画像補完などの後続応用をサポートできるか？
• RQ5 アイデンティティ推定や表情認識攻撃を含むさまざまな脅威モデル下で、モデルはどの程度の性能を示すか？

主な発見

• PPRL-VGANモデルは、アイデンティティを隠した状態でもFERGおよびMUGデータセットで高い顔の表情認識精度を達成しており、アイデンティティと表情の有効な分離が実証された。
• 3つの脅威シナリオにおける定量的評価から、モデルは顔のアイデンティティ漏洩を顕著に低減するとともに、表情認識性能を維持していることが確認された。
• 定性的および定量的評価により、オリジナルの表情を保持したまま、新しいアイデンティティを有するリアルな顔画像の合成に成功している。
• 潜在空間における線形補間による表情モーフィングは、滑らかで意味的に意味のある表情の遷移を生成した。
• 画像補完の結果、特に目や眉といった重要な特徴が存在する場合には、高い忠実度で欠損領域を再構築できている。
• 重要な表情の手がかり（例：細まった目や下がった眉）がマスクされている場合、モデルはしばしば補完に失敗しており、顕著な特徴の欠落に敏感であることが示された。