[論文レビュー] Face Image Reconstruction from Deep Templates.

Guangcan Mai, Kai Cao+2 more|arXiv (Cornell University)|Mar 2, 2017

Face recognition and analysis被引用数 11

ひとこと要約

本稿では、被験者やネットワークアーキテクチャに関する事前知識が不要な、高品質な顔画像を深層顔テンプレートから再構築する隣接性を考慮したデコンボリューションニューラルネットワーク、NbNetを提案する。LFWにおいて0.1%のFARでタイプI攻撃に対して95.20%の真陽性率を達成し、最先端の顔認識システムにおける顕著な脆弱性を示している。

ABSTRACT

State-of-the-art face recognition systems are based on deep (convolutional) neural networks. Therefore, it is imperative to determine to what extent face templates derived from deep networks can be inverted to obtain the original face image. In this paper, we study the vulnerabilities of a state-of-the-art face recognition system based on template reconstruction attack. We propose a neighborly de-convolutional neural network ( extit{NbNet}) to reconstruct face images from their deep templates. In our experiments, we assumed that no knowledge about the target subject and the deep network are available. To train the extit{NbNet} reconstruction models, we augmented two benchmark face datasets (VGG-Face and Multi-PIE) with a large collection of images synthesized using a face generator. The proposed reconstruction was evaluated using type-I (comparing the reconstructed images against the original face images used to generate the deep template) and type-II (comparing the reconstructed images against a different face image of the same subject) attacks. Given the images reconstructed from extit{NbNets}, we show that for verification, we achieve TAR of 95.20\% (58.05\%) on LFW under type-I (type-II) attacks @ FAR of 0.1\%. Besides, 96.58\% (92.84\%) of the images reconstruction from templates of partition extit{fa} ( extit{fb}) can be identified from partition extit{fa} in color FERET. Our study demonstrates the need to secure deep templates in face recognition systems.

研究の動機と目的

• 最先端の顔認識システムから得られる深層顔テンプレートが、元の顔画像に再構築可能かどうかを調査すること。
• 被験者や基盤となる深層ネットワークに関する知識が一切ないという現実的な仮定の下で、テンプレート再構築攻撃の実現可能性を評価すること。
• 限られた事前情報のみを用いて、高精細な顔画像を深層テンプレートから生成できる堅牢な再構築モデルの開発。
• 異なる被験者間および被験者内比較を用いて、テンプレート再構築が顔認識認証性能に与える実用的影響を評価すること。

提案手法

• NbNetは、特徴表現からの逆写像を学習することで、深層顔テンプレートを顔画像に逆方向変換するためのデコンボリューションニューラルネットワークアーキテクチャである。
• モデルは、拡張されたVGG-FaceおよびMulti-PIEデータセット上で訓練され、一般化性能を向上させるために顔生成器によって合成された顔画像が追加されている。
• 2段階の訓練戦略が採用されている：まず、知覚的損失と adversarial 損失を用いて、深層特徴から画像を再構築する。
• ネットワークは、隣接するパッチからの空間的および特徴的類似性を活用することで再構築品質を向上させる隣接特徴集約機構を組み込んでいる。
• 再構築忠実度の評価にはタイプIおよびタイプII攻撃が用いられる：タイプIはテンプレートの生成に使われた元の画像と比較し、タイプIIは同じ被験者の別の画像と比較する。
• 評価指標には、LFWおよびカラーFERETデータセットにおける固定FAR 0.1%での真陽性率（TAR）が含まれる。

実験結果

リサーチクエスチョン

• RQ1 元のネットワークや被験者アイデンティティに関する知識が一切ない状態でも、深層顔テンプレートを効果的に逆方向に再構築して元の顔画像を再構築可能か？
• RQ2 提案されたNbNetモデルは、タイプIおよびタイプII攻撃の両状況下で、顔画像の再構築にどの程度効果を発揮するか？
• RQ3 深層テンプレートからの再構築画像が、顔認識システムのセキュリティにどの程度の影響を及ぼすか？
• RQ4 異なるデータセットパーティションを用いた場合、テンプレート再構築が認証性能に与える影響は何か？

主な発見

• 提案されたNbNetは、FARが0.1%の状態でLFWデータセットにおいてタイプI攻撃に対して95.20%の真陽性率（TAR）を達成しており、高い再構築忠実度を示している。
• タイプII攻撃においても、同じFARで58.05%のTARを達成しており、再構築画像が同じ被験者の異なる画像と比較しても顕著に識別可能であることが示されている。
• カラーFERETデータセットでは、パーティションfaのテンプレートから再構築された画像の96.58%が同じパーティション内で正しく識別可能であり、顕著なクロス画像認識能力を示している。
• パーティションfbにおいては、再構築画像の92.84%が同じパーティション内で識別可能であり、異なるデータ分割においても再構築の堅牢性が裏付けられている。
• 結果から、深層顔テンプレートは、ネットワークや被験者に関する事前知識がなくても再構築攻撃に対して脆弱であることが確認された。
• 本研究は、現在の顔認識システムにおける深刻なセキュリティ的ギャップを浮き彫りにし、深層テンプレートの逆方向攻撃に対する保護の必要性を強調している。