[論文レビュー] Video Face Recognition: Component-wise Feature Aggregation Network (C-FAN)

Sixue Gong, Yichun Shi+1 more|arXiv (Cornell University)|Feb 19, 2019

Face recognition and analysis参考文献 41被引用数 10

ひとこと要約

本稿では、個々の深層特徴成分の適応的品質スコアを学習することで、動画フレーム間で高品質な顔特徴を効果的に集約する、コンponent別特徴集約ネットワークC-FANを提案する。この手法により、512次元のコンact表現を用いて、IJB-S、YouTube Faces、IJB-Aベンチマークで平均プーリングやインスタンスレベルの集約を上回る最先端の性能を達成する。

ABSTRACT

We propose a new approach to video face recognition. Our component-wise feature aggregation network (C-FAN) accepts a set of face images of a subject as an input, and outputs a single feature vector as the face representation of the set for the recognition task. The whole network is trained in two steps: (i) train a base CNN for still image face recognition; (ii) add an aggregation module to the base network to learn the quality value for each feature component, which adaptively aggregates deep feature vectors into a single vector to represent the face in a video. C-FAN automatically learns to retain salient face features with high quality scores while suppressing features with low quality scores. The experimental results on three benchmark datasets, YouTube Faces, IJB-A, and IJB-S show that the proposed C-FAN network is capable of generating a compact feature vector with 512 dimensions for a video sequence by efficiently aggregating feature vectors of all the video frames to achieve state of the art performance.

研究の動機と目的

• 監視におけるノイズが多く低品質な動画フレームの課題に対処し、適応的特徴集約を通じて顔表現学習を向上させること。
• 低品質なフレームからの信頼性の低い成分を抑圧しながら、判別性の高い顔特徴を効果的に保持する手法を開発すること。
• 特徴ベクトル全体に均一な重みを適用するのではなく、各成分ごとの品質スコアを予測することで、特徴レベルの品質変動をモデル化すること。
• 時間的およびマルチビュー情報の両方を保持する形で、複数フレームの情報を融合することで、頑健な動画顔認識を実現すること。
• IJB-S、YouTube Faces、IJB-Aを含む標準ベンチマークデータセットで最先端の性能を示すことを目的とする。

提案手法

• 本手法は、静止画像顔認識を目的とした事前学習済みの基本CNNを用い、その後に深層特徴ベクトルの各成分に対する品質スコアを予測する新しい集約モジュールを適用する。
• 集約モジュールは、各成分の信頼性を反映する学習済みの成分別重みを用いて、特徴成分の重み付き平均を計算する。
• 品質スコアは、高品質なフレームからの成分に高い重みを割り当てるよう促進する損失関数を用いて、エンド・ツー・エンドで学習される。
• ネットワークはまず大規模な静止画像データセット（例：MS-Celeb-1M）で事前学習され、その後合成テンプレートを用いて成分固有の品質スコアを学習するように微調整される。
• 推論時、同じネットワークが動画シーケンス内の全フレームに対して、学習済みの品質スコアを個別に適用して各特徴成分を独立して集約する。
• 最終的な顔表現は、全フレーム特徴の成分別重み付き平均から得られる、コンactな512次元ベクトルである。

実験結果

リサーチクエスチョン

• RQ1 学習可能な品質スコアを用いたコンponent別特徴集約は、平均プーリングやインスタンスレベルの重み付けと比較して、動画顔認識性能を向上させるか？
• RQ2 予測された品質スコアは、視覚的画像品質および顔情報の内容と相関しているか？
• RQ3 本手法は、ノイズ、ポーズ変動、オクルージョンのレベルが異なる多様な動画データセットに一般化可能か？
• RQ4 標準ベンチマーク（IJB-S、YouTube Faces、IJB-A）で最先端の性能を達成できるか？
• RQ5 特に困難な監視状況下で、オープンセットおよびクローズドセットの識別プロトコルにおける性能はいかがなっているか？

主な発見

• C-FANはIJB-Sデータセットで最先端の性能を達成し、1% FPIRでの識別率が86.88% ± 4.70%、10% FPIRでの識別率が92.85% ± 1.02%を記録し、先行手法を上回った。
• YouTube Facesデータセットでは、C-FANが96.50% ± 0.90%の認証精度を達成し、以前の最先端手法NANを0.78%上回った。
• IJB-Aデータセットでは、クローズドセットプロトコル下で94.57% ± 0.82%のランク1識別精度を達成し、1% FPIRでのオープンセットプロトコル下でも86.88% ± 4.70%の性能を示した。
• コンponent別集約戦略は、すべてのベンチマークで平均プーリングやインスタンスレベル特徴重み付けを著しく上回り、各成分への注目メカニズムの有効性を示した。
• 予測された品質スコアは、視覚的画像品質と強く相関しており、定性的な分析とアブレーションスタディで裏付けられた。
• C-FANは、IJB-Sベンチマークの5つの顔識別プロトコルすべてで一貫した改善を達成し、困難な監視状況下での頑健性を確認した。