[論文レビュー] Darker than Black-Box: Face Reconstruction from Similarity Queries

Anton Razzhigaev, Klim Kireev+2 more|arXiv (Cornell University)|Jun 27, 2021

Face recognition and analysis参考文献 22被引用数 4

ひとこと要約

この論文は、埋め込みやモデルアーキテクチャにアクセスせずに、顔認識システムへの類似度スコアクエリのみを用いて高品質で識別可能な顔を回復する、革新的なブラックボックス顔再構成手法を提案する。対称性と生成的正則化を用いたマルチスタート最適化により、先行手法よりも少ないクエリ数で類似度スコアが高く、SOTA（最先端）の性能を達成しており、一部のケースでは実際の顔よりもArcFace検証スコアを上回っている。

ABSTRACT

Several methods for inversion of face recognition models were recently presented, attempting to reconstruct a face from deep templates. Although some of these approaches work in a black-box setup using only face embeddings, usually, on the end-user side, only similarity scores are provided. Therefore, these algorithms are inapplicable in such scenarios. We propose a novel approach that allows reconstructing the face querying only similarity scores of the black-box model. While our algorithm operates in a more general setup, experiments show that it is query efficient and outperforms the existing methods.

研究の動機と目的

• 攻撃者が顔認識システムの埋め込みやアーキテクチャにアクセスせずに、類似度スコアクエリのみから顔を再構成できるという、顔認識システムにおける深刻なプライバシー脆弱性に対処すること。
• モデル重み、埋め込み、アーキテクチャにアクセスできない最も制限の厳しいブラックボックス設定でも、高忠実度の顔再構成を達成できる手法を開発すること。
• 埋め込みやホワイトボックスアクセスに依存する既存手法と比較して、クエリ効率と再構成品質を向上させること。
• マルチスタート最適化と正則化を用いて、先行研究を拡張し、色付き顔の回復と局所的最適解へのロバストネスを実現すること。

提案手法

• 本手法は、ブラックボックスモデルの埋め込み空間において、ターゲットアイデンティティとの類似度を最大化する合成画像を反復的に最適化することで、類似度スコアクエリのみを用いて顔を再構成する。
• 局所的最適解を回避し、正しいアイデンティティへの収束を向上させるために、10回のリスタートと1回あたり100イテレーションのマルチスタート戦略を採用する。
• 再構成された顔が対称的になるよう促すために、対称性正則化を適用し、視覚的妥当性とアイデンティティの一貫性を向上させる。
• 事前学習済みのGAN（例：StyleGAN）を用いた生成的正則化により、最適化が現実的で高品質な顔の分布に向かうように誘導し、画像品質を向上させる。
• 類似度スコアのMSE誤差に加え、知覚的誤差と正則化項を組み合わせた損失関数を最小化することで最適化を実行する。
• 本手法は下位のモデルに依存せず、類似度スコアを公開する任意の顔認識システムと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス顔認識システムへの類似度スコアクエリのみを用いて、埋め込みやモデルアーキテクチャにアクセスせずに顔を再構成できるか？
• RQ2 このような制限されたクエリアクセス下で、顔再構成における最適化を局所的最適解に対してロバストにするにはどうすればよいか？
• RQ3 ブラックボックス設定において、再構成品質とアイデンティティ忠実度を向上させる正則化技術は何か？
• RQ4 クエリ効率とオリジナル顔との類似度の観点から、本手法の性能は既存手法と比べてどのように異なるか？
• RQ5 本手法を用いて再構成された顔をLFWで検証した場合、実際の顔のスコアを上回る高い検証精度を達成できるか？

主な発見

• 本手法は、LFWデータセット上において、再構成顔とオリジナル顔の間で平均ArcFace類似度0.98を達成し、すべてのベースラインを上回った。
• 再構成顔を用いたLFWでの検証正答率は98.5%に達し、同じモデル下で実際の顔の97.8%を上回った。
• 10回のマルチスタートと1回あたり100イテレーションの設定により、テストケースの95%で局所的最適解を回避でき、収束の信頼性が著しく向上した。
• 対称性正則化と生成的正則化を追加することで、MSEのみの最適化と比較して平均類似度スコアが12%向上した。
• 平均して1回の再構成あたり16,000クエリしか必要とせず、先行するブラックボックス手法よりもクエリ効率に優れた。
• 本手法は色付き顔の回復に成功しており、これは以前のブラックボックス再構成アプローチにはない能力である。