[論文レビュー] SeqFace: Make full use of sequence information for face recognition

Wei Hu, Yangyu Huang+4 more|arXiv (Cornell University)|Mar 17, 2018

Face recognition and analysis参考文献 6被引用数 7

ひとこと要約

SeqFaceは、動画からのラベルなし顔シーケンスを活用して、識別ラベル付きデータセットとシーケンスデータの両方を同時に学習することで、顔認識性能を向上させる画期的なディープラーニングフレームワークを提案する。ラベルスムージング正則化（LSR）と新しい判別的シーケンスエージェント（DSA）損失を導入し、特徴の識別性を向上させ、ResNet-64バックボーンのみを用いてLFWで99.83%、YTFで98.12%の最先端性能を達成した。

ABSTRACT

Deep convolutional neural networks (CNNs) have greatly improved the Face Recognition (FR) performance in recent years. Almost all CNNs in FR are trained on the carefully labeled datasets containing plenty of identities. However, such high-quality datasets are very expensive to collect, which restricts many researchers to achieve state-of-the-art performance. In this paper, we propose a framework, called SeqFace, for learning discriminative face features. Besides a traditional identity training dataset, the designed SeqFace can train CNNs by using an additional dataset which includes a large number of face sequences collected from videos. Moreover, the label smoothing regularization (LSR) and a new proposed discriminative sequence agent (DSA) loss are employed to enhance discrimination power of deep face features via making full use of the sequence data. Our method achieves excellent performance on Labeled Faces in the Wild (LFW), YouTube Faces (YTF), only with a single ResNet. The code and models are publicly available on-line (https://github.com/huangyangyu/SeqFace).

研究の動機と目的

• 深層顔認識モデルを訓練するための高コストで高品質な大規模な識別ラベル付き顔データセットの不足と高コストを解決すること。
• 動画からのラベルなし顔シーケンスを、特徴の識別性を向上させる補助的トレーニング信号として活用する可能性を調査すること。
• 識別ラベルが明示的に付与されていないシーケンスデータを、既存の顔認識パイプラインに効果的に統合するトレーニングフレームワークを開発すること。
• シーケンスデータを用いてクラス内compactnessとクラス間分離性を向上させる新しい損失関数（LSRとDSA損失）を導入すること。
• シンプルなネットワークアーキテクチャ（例：ResNet-27/64）を用いても、シーケンスデータの統合が性能を顕著に向上させることを実証すること。

提案手法

• 本フレームワークは、標準的な識別ラベル付きデータセット（例：MS-Celeb-1M）と、動画からの時間的に順序付けられた顔クリップを含むシーケンスデータセットの2種類のデータタイプを、同時に畳み込みニューラルネットワーク（CNN）で学習する。
• 識別ラベルが明示的に与えられていないシーケンスデータにおける曖昧性に対処するため、主要な損失（例：ソフトマックス損失）にラベルスムージング正則化（LSR）を適用する。
• クラス内特徴のcompactnessとクラス間の分散性を向上させるために、補助的なDSA（判別的シーケンスエージェント）損失を提案する。
• DSA損失は、シーケンス内の時間的整合性を活用し、同一アイデンティティの複数フレームにおける特徴が密にクラスタリングされるよう促進するとともに、他のアイデンティティとは明確に分離されるように設計されている。
• 主な分類損失とDSA補助損失の両方を組み合わせて、エンドツーエンドでモデルを訓練することで、ラベル付きアイデンティティとラベルなしシーケンスの両方を効果的に活用できる。
• 本フレームワークは任意のバックボーンCNN（例：ResNet）と互換性があり、ArcFaceやCosFaceなどの高度な損失関数とも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし顔シーケンスを、識別ラベルの付与が不要な状態で、顔認識性能の向上に効果的に活用できるか？
• RQ2 明示的な識別ラベルが欠落しているシーケンスデータを、分類またはメトリクス学習に依存するディープラーニングフレームワークに統合する方法は何か？
• RQ3 提案されたDSA損失は、中心損失（center loss）などの既存の補助損失を上回り、シーケンスデータを用いた特徴の識別性向上に優れているか？
• RQ4 シンプルなResNetアーキテクチャが、識別ラベル付きデータとシーケンスデータの両方を用いて学習された場合、どの程度最先端の性能を達成できるか？
• RQ5 LSRとDSA損失の組み合わせにより、学習された顔特徴のクラス内ばらつきが低減され、クラス間マージンが拡大するか？

主な発見

• SeqFaceはLFWベンチマークで99.83%の検証精度を達成し、より深いResNet-50を用いたArcFaceが達成した99.78%の以前の最先端性能を上回った。
• YTFベンチマークでは98.12%の精度に達し、500万枚の画像データセットを用いたCosFaceが達成した97.6%の以前の最先端性能を上回った。
• 浅いResNet-27でさえ、LFWで99.50%、YTFで95.7%の精度を達成し、最小限のモデル複雑性で優れた性能を示した。
• アブレーションスタディの結果、LSRとDSA損失の両方が性能向上に寄与していることが確認され、特にクラス間分散性向上において、中心損失よりもDSA損失が顕著な改善を示した。
• シーケンスデータセット（Celeb-Seq）と識別ラベル付きトレーニングセット（MS-Celeb-1M）との間にアイデンティティのオーバーラップが全くない場合でも、本フレームワークは有効であることが示され、汎化能力の有効性が裏付けられた。
• 結果から、シーケンスデータは、高価な識別ラベル付きデータセットに代わる強力でスケーラブルかつコスト効率の良い代替手段であることが示された。