[論文レビュー] SSPP-DAN: Deep Domain Adaptation Network for Face Recognition with Single Sample Per Person

Sungeun Hong, Woobin Im+2 more|arXiv (Cornell University)|Feb 14, 2017

Face recognition and analysis参考文献 13被引用数 20

ひとこと要約

本論文では、1人あたり1枚の顔画像（SSPP）を前提とした顔認識において、異種の撮影条件下でも性能を発揮するため、特徴抽出、ドメイン適応、分類を一括して行う深層ドメイン適応ネットワーク「SSPP-DAN」を提案する。3次元顔モデルを用いて多様なポーズ変化を合成し、教師なしドメイン適応を適用することで、実世界のSSPPデータセットにおいてベースライン手法より19.31%の精度向上を達成し、LFW-SSPPでも最先端の性能を示した。

ABSTRACT

Real-world face recognition using a single sample per person (SSPP) is a challenging task. The problem is exacerbated if the conditions under which the gallery image and the probe set are captured are completely different. To address these issues from the perspective of domain adaptation, we introduce an SSPP domain adaptation network (SSPP-DAN). In the proposed approach, domain adaptation, feature extraction, and classification are performed jointly using a deep architecture with domain-adversarial training. However, the SSPP characteristic of one training sample per class is insufficient to train the deep architecture. To overcome this shortage, we generate synthetic images with varying poses using a 3D face model. Experimental evaluations using a realistic SSPP dataset show that deep domain adaptation and image synthesis complement each other and dramatically improve accuracy. Experiments on a benchmark dataset using the proposed approach show state-of-the-art performance. All the dataset and the source code can be found in our online repository (https://github.com/csehong/SSPP-DAN).

研究の動機と目的

• ギャラリー（安定）とプローブ（制約なし）の画像間に顕著なドメインシフトが生じる状況下で、1人あたり1枚のギャラリー画像しか利用できない顔認識の課題に対処すること。
• 1人の人物に対して1枚の実際の顔画像しか入手できないデータ不足問題を、3次元顔モデルを用いて多様なポーズを持つ合成顔画像を生成することで、ソースドメインのデータ多様性を高めることで克服すること。
• 教師なしドメイン適応を用いた adversarial training を通じて、安定したギャラリー画像とノイズ多め・ぼやけたポーズ変化のあるプローブ画像の間のドメインギャップを埋めること。
• 実世界の展開環境下での制約を考慮し、画像合成とドメイン適応の相乗効果が認識精度の向上に寄与することを実証すること。
• ギャラリーとプローブが著しく異なる条件下で撮影された、現実的で信頼性の高いデータセット（EK-LFH）を新規に構築し、SSPP手法の評価基準を確立すること。

提案手法

• 勾配逆転層（GRL）を用いたドメインアドバーシャルトレーニングにより、特徴抽出、ドメイン適応、分類を一括して行う統合型深層ニューラルネットワークアーキテクチャを提案する。
• 元のギャラリー画像を3次元顔モデルに基づいて再構築し、その再構築結果から多様なポーズを持つ合成顔画像を生成することで、トレーニングデータの多様性を向上させる。
• 合成画像をソースドメインの拡張トレーニングサンプルとして活用し、実データが限られる状況下でもモデルの一般化性能を向上させ、過学習のリスクを軽減する。
• ドメイン識別器を訓練して、ソース（合成／安定）ドメインとターゲット（実際／プローブ）ドメインの特徴を区別させることで、教師なしドメイン適応を実現し、ドメイン不変の表現を促進する。
• バックプロパゲーションを用いて、エンドツーエンドの方法で全ネットワークを同時に最適化することで、特徴学習とドメイン整合性の共同最適化を可能にする。
• 転移学習のためのバックボーンとして事前学習済みのVGG-Face特徴を活用し、ターゲットドメインで微調整することで、半教師ありおよび完全教師ありの設定に対応する。

Fig. 2 : Outline of the SSPP-DAN. Image synthesis is used to increase the number of samples in the source domain. The feature extractor and two classifiers are used to bridge the gap between source domain (i.e., stable images) and target domain (i.e., unstable images) by adversarial training with gr

実験結果

リサーチクエスチョン

• RQ1 合成データ生成と深層ドメイン適応を組み合わせることで、ドメインシフト下におけるSSPP顔認識の認識精度を著しく向上させることができるか？
• RQ2 ラベルなしのプローブデータを前提とした場合、ドメインアドバーシャルトレーニングが、安定したギャラリー画像と制約のないプローブ画像の間の特徴分布をどれほど効果的に統合できるか？
• RQ3 1人の人物に対して1枚の実際の画像しか入手できない状況下で、3次元顔モデルに基づく画像合成によるデータ拡張が、モデル性能にどの程度の向上効果をもたらすか？
• RQ4 画像合成とドメイン適応の相乗効果は、単独で適用した場合よりも優れた性能を発揮するか？
• RQ5 提案手法は、LFW-SSPPのようなベンチマークデータセットに一般化可能であり、実世界の異種条件下でも最先端の性能を達成できるか？

主な発見

• 提案された EK-LFH データセットにおいて、ターゲットドメインにラベルを一切使用しない状況下で、SSPP-DAN はソースのみベースラインより19.31パーセンテージポイントの精度向上を達成した。
• 合成画像生成と教師なしドメイン適応の組み合わせにより、ソースドメインでのみ合成データを用いて学習した場合と比較して、27.42パーセンテージポイントの性能向上が得られた。
• ソースのみベースラインに合成画像を追加すると性能が低下したため、ドメインシフトを解消するにはドメイン適応が不可欠であり、画像合成のみでは不十分であることが示された。
• ターゲットドメインで1人あたり3例のラベル付きサンプルしか利用できない半教師あり設定下でも、SSPP-DAN は72.08%の精度を達成し、半教師ありDANベースライン（67.28%）を顕著に上回った。
• LFW-SSPPベンチマークでは、SSPP-DAN が97.91%の認識精度を達成し、以前の最先端手法を上回り、『ワイルド』なデータ分布への強い一般化能力を示した。

(a) DA fails to work because of the lack of samples in the source domain