[論文レビュー] GhostVLAD for set-based face recognition

Yujie Zhong, Relja Arandjelović+1 more|arXiv (Cornell University)|Oct 23, 2018

Face recognition and analysis参考文献 38被引用数 5

ひとこと要約

本稿では、顔の特徴記述子をコンパクトで固定長の表現に集約することで、集合ベースの顔認識を向上させる、新しいニューラルネットワーク層であるGhostVLADを提案する。低品質な画像が集約に寄与しない『ゴーストクラスタ』を導入することで、モデルはノイズの多い入力を自動的に低重み化する学習を可能とし、IJB-BおよびIJB-Aで128次元テンプレートを用いて最先端の性能を達成した。

ABSTRACT

The objective of this paper is to learn a compact representation of image sets for template-based face recognition. We make the following contributions: first, we propose a network architecture which aggregates and embeds the face descriptors produced by deep convolutional neural networks into a compact fixed-length representation. This compact representation requires minimal memory storage and enables efficient similarity computation. Second, we propose a novel GhostVLAD layer that includes {\em ghost clusters}, that do not contribute to the aggregation. We show that a quality weighting on the input faces emerges automatically such that informative images contribute more than those with low quality, and that the ghost clusters enhance the network's ability to deal with poor quality images. Third, we explore how input feature dimension, number of clusters and different training techniques affect the recognition performance. Given this analysis, we train a network that far exceeds the state-of-the-art on the IJB-B face recognition dataset. This is currently one of the most challenging public benchmarks, and we surpass the state-of-the-art on both the identification and verification protocols.

研究の動機と目的

• 画像品質が著しくばらつく非制約的環境におけるテンプレートベースの顔認識の課題に対処すること。
• 効率的な類似度計算と最小限のメモリ使用量を可能にする、画像集合のコンパクトで固定長の表現を構築すること。
• 情報量の多い顔を低品質な顔よりも高く重みづけする学習により、テンプレート記述子の識別力を向上させること。
• 明示的な教師信号なしに、情報量の少ないもしくはノイズの多い顔画像の重みを自動的に低く抑えるメカニズムを設計すること。
• アイデンティティレベルのラベルのみを用いて、IJB-BおよびIJB-Aの挑戦的なベンチマークで最先端の性能を達成すること。

提案手法

• 『ゴーストクラスタ』—割り当ては受けるが最終的な記述子集約に寄与しないクラスタを導入するNetVLADの拡張であるGhostVLAD層を提案する。
• 各クラスタの残差から計算されるリプッシュベクトルを、割り当て確率で重みづけし、最終的なコンパクトな記述子を構成する。
• アイデンティティレベルのラベルのみを用いてエンドツーエンドでネットワークを学習させ、品質に基づいた顔の重要度の自動学習を可能にする。
• MS-Celeb-1Mで事前学習し、VGGFace2で微調整したResNetベースのバックボーン（例：SE-ResNet-50）にGhostVLADを統合する。
• 各入力画像が最終テンプレートに与える寄与度を、そのリプッシュベクトルのノルムによって測定し、学習された注目メカニズムの可視化を可能にする。
• 標準ベンチマークIJB-AおよびIJB-Bを用いて、認証（ROC）および識別（DET）の両性能を最適化する。

実験結果

リサーチクエスチョン

• RQ1 教師なしで、深層学習アーキテクチャが低品質な顔画像の重要度を自動的に低く設定できるか？
• RQ2 ゴーストクラスタの導入が、顔認識におけるテンプレート表現の識別力およびロバスト性に与える影響は何か？
• RQ3 入力特徴次元数、クラスタ数、および学習手法が、集合ベースの顔認識における性能に与える影響は何か？
• RQ4 コンパクトな128次元テンプレート表現が、2048次元の表現よりも正確性と効率性の面で優れているか？
• RQ5 提案手法が、最も挑戦的な公開ベンチマークIJB-BおよびIJB-Aで最先端の性能を達成できるか？

主な発見

• GhostVLADネットワークは、IJB-B認証タスクにおいてFAR=1e-5でTARが0.762を達成し、以前のSOTAの0.705を上回った。
• IJB-B識別タスクでは、FPIR=0.01でTPIRが0.776を達成し、以前のSOTAの0.743を上回った。
• MS-Celeb-1Mを用いずにVGGFace2でのみ学習した場合でも、IJB-BでFAR=1e-5でTARが0.762を達成したのに対し、以前のSOTAは0.671であった。
• ネットワークは128次元のテンプレートを生成し、従来のSOTA手法の2048次元テンプレートよりも顕著に小さく、より高速な推論と低メモリ使用量を実現した。
• 定性的な分析から、ゴーストクラスタがぼやけた・低解像度の画像が最終テンプレートに与える寄与度を低減させ、信号対ノイズ比を向上させていることが示された。
• より浅いバックボーンとより小さなテンプレートサイズを用いても、IJB-A認証タスクでより深いResNetベースの手法[44]を上回った。