[論文レビュー] FaceMAE: Privacy-Preserving Face Recognition via Masked Autoencoders

Kai Wang, Bo Zhao+6 more|arXiv (Cornell University)|May 23, 2022

Face recognition and analysis被引用数 6

ひとこと要約

FaceMAEは、顔画像をマスキングされた入力から再構築する際、顔認識の有用性を保持するプライバシー保護型顔認識フレームワークを提案する。標準のMSE損失に代えてインスタンス関係マッチング（IRM）を採用することで、実際の顔と再構築された顔の間の分布ギャップを最小化し、メンバーシッププライバシー漏洩リスクを約20%削減するとともに、LFW、CFP-FP、AgeDBにおいて最先端手法と比較して認識誤差を50%以上低減する。

ABSTRACT

Face recognition, as one of the most successful applications in artificial intelligence, has been widely used in security, administration, advertising, and healthcare. However, the privacy issues of public face datasets have attracted increasing attention in recent years. Previous works simply mask most areas of faces or synthesize samples using generative models to construct privacy-preserving face datasets, which overlooks the trade-off between privacy protection and data utility. In this paper, we propose a novel framework FaceMAE, where the face privacy and recognition performance are considered simultaneously. Firstly, randomly masked face images are used to train the reconstruction module in FaceMAE. We tailor the instance relation matching (IRM) module to minimize the distribution gap between real faces and FaceMAE reconstructed ones. During the deployment phase, we use trained FaceMAE to reconstruct images from masked faces of unseen identities without extra training. The risk of privacy leakage is measured based on face retrieval between reconstructed and original datasets. Experiments prove that the identities of reconstructed images are difficult to be retrieved. We also perform sufficient privacy-preserving face recognition on several public face datasets (i.e. CASIA-WebFace and WebFace260M). Compared to previous state of the arts, FaceMAE consistently extbf{reduces at least 50\% error rate} on LFW, CFP-FP and AgeDB.

研究の動機と目的

• 深層顔認識モデルの学習に使用される公開顔データセットにおけるメンバーシッププライバシー漏洩の増加する懸念に対処すること。
• ぼやけやマスキング、GANベースの合成といった従来手法の限界を克服すること—これらはデータの有用性を低下させるか、未知のアイデンティティに一般化できない。
• マスキングされた入力から意味的に意味のある、アイデンティティを保持する顔を再構築することで、プライバシーと高い認識性能を同時に維持すること。
• 再トレーニングなしで未学習のアイデンティティに展開可能なフレームワークを構築することにより、スケーラビリティと実用性を確保すること。
• 再構築された顔が検索タスクにおいて元の顔と区別できないようにすることで、メンバーシップ推定攻撃のリスクを最小限に抑えること。

提案手法

• ランダムにマスキングされた顔画像上で自己符号化器（MAE）を学習し、元の顔の分布を再構築する。
• 標準のMSE損失の代わりに、実際の顔と再構築された顔の特徴関係グラフを一致させるインスタンス関係マッチング（IRM）モジュールを導入する。
• IRMを用いて実際の顔特徴と再構築された顔特徴の間の分布ギャップを最小化し、認識の有用性を向上させる。
• デプロイメント段階では、追加のファインチューニングなしに、未学習のアイデンティティのマスキング顔を再構築するためにトレーニング済みのFaceMAEを適用する。
• 元のデータセットと再構築されたデータセット間の顔検索精度を測定することで、メンバーシッププライバシー保護の度合いを評価する。
• ハイパーパrameter β を用いてプライバシーと性能のトレードオフを最適化する。

実験結果

リサーチクエスチョン

• RQ1 インスタンス関係マッチングを用いたマスキング自己符号化器は、プライバシー漏洩を低減しつつ、顔認識の有用性を保持する再構築顔画像を生成できるか？
• RQ2 従来のマスキング手法やGANベースの手法と比較して、FaceMAEは顔認識の正確性とプライバシー保護の両面で優れているか？
• RQ3 IRMモジュールは、実際の顔特徴と再構築された顔特徴の間の分布ギャップをどの程度低減できるか？
• RQ4 異なるマスキングパターンや場所（例：目、口）に対してFaceMAEはどの程度頑健か？
• RQ5 IRM損失の重み付けハイパーパrameter β は、プライバシーと認識性能のバランスにどのような影響を及ぼすか？

主な発見

• FaceMAEは、LFW、CFP-FP、AgeDBにおいて、最先端手法と比較して顔認識誤差率を50%以上低減する。
• 元のデータセットと再構築されたデータセット間の検索精度を測定したところ、プライバシー漏洩リスクが約20%低下した。
• FaceMAEによる再構築は、標準のMAEやGANベースの手法と比較して、実際の顔と顔特徴の分布の一致度が顕著に優れている。
• 目や口といった重要な顔領域をマスキングしても、顔全体をマスキングした場合と比較してわずかに性能が低下するが、依然として高い性能を維持している。
• IRM損失の重みβを1.0を超えて増加させると性能が低下するため、最適なトレードオフの点はβ ≈ 1.0付近にあると示唆される。
• 『元のデータセットからFaceMAEの再構築データセット』の検索性能は、『元のデータセットから元のデータセット』のものよりも著しく低く、プライバシー保護の有効性を確認している。また、『元のデータセットからMAE』のものよりも低い性能であるため、FaceMAEの優位性が示された。