[論文レビュー] Pose-Robust Face Recognition via Deep Residual Equivariant Mapping

Kaidi Cao, Yu Rong+3 more|arXiv (Cornell University)|Mar 2, 2018

Face recognition and analysis参考文献 28被引用数 20

ひとこと要約

本稿では、プロファイル顔の深層特徴表現を特徴空間内で標準的な正面ポーズに変換する軽量で学習可能なモジュール、Deep Residual EquivAriant Mapping (DREAM) ブロックを提案する。この手法により、データ拡張を伴わずにポーズに頑健な顔認識が向上し、複数のベンチマークで最先端の性能を達成した。MS-Celeb-1M ではベースラインモデルと比較して等誤差率（EER）を最大1.25%低減した。

ABSTRACT

Face recognition achieves exceptional success thanks to the emergence of deep learning. However, many contemporary face recognition models still perform relatively poor in processing profile faces compared to frontal faces. A key reason is that the number of frontal and profile training faces are highly imbalanced - there are extensively more frontal training samples compared to profile ones. In addition, it is intrinsically hard to learn a deep representation that is geometrically invariant to large pose variations. In this study, we hypothesize that there is an inherent mapping between frontal and profile faces, and consequently, their discrepancy in the deep representation space can be bridged by an equivariant mapping. To exploit this mapping, we formulate a novel Deep Residual EquivAriant Mapping (DREAM) block, which is capable of adaptively adding residuals to the input deep representation to transform a profile face representation to a canonical pose that simplifies recognition. The DREAM block consistently enhances the performance of profile face recognition for many strong deep networks, including ResNet models, without deliberately augmenting training data of profile faces. The block is easy to use, light-weight, and can be implemented with a negligible computational overhead.

研究の動機と目的

• 深層モデルの幾何的感度とデータの不均衡に起因する正面顔とプロファイル顔の間の顔認識性能のギャップを是正する。
• アーチファクトを生じさせたり計算負荷を増加させたりする画像レベルの正面化の限界を克服する。
• 再トレーニングやデータ拡張を必要とせず、既存の深層ネットワークを拡張可能な汎用的で軽量なモジュールを開発する。
• 深層特徴空間におけるポーズに等変性のある変換を学習することで、プロファイル顔の有効な認識を可能にする。
• 特徴空間での正面化が、ポーズに頑健な認識において、画像空間での正面化よりも効果的であることを実証する。

提案手法

• DREAM ブロックを、入力の深層特徴に対して適応的に残差を追加することで、プロファイル表現を標準的な正面ポーズに変換するゲート付き残差ブランチとして提案する。
• 入力顔のヨー角に応じて残差の大きさを動的に制御するソフトゲート機構を用い、極端なプロファイル顔に対してより多くの補正を適用する。
• 入力特徴表現に条件付けられた学習可能なマッピング（全結合層または1次元畳み込み層を用いて）を設計し、ポーズ固有の残差を生成する。
• DREAM ブロックを、例えば ResNet-18 や ResNet-50 などの既存の深層ネットワークの戦略的配置（特に特徴層の後）に統合し、最適な性能を実現する。
• バックボーンネットワークと同時にエンドツーエンドで学習させることで、識別子とポーズ不変表現学習の共同最適化を可能にする。
• 非線形マッピングをソフトゲートに用い、特に標準のCNNが困難に感じる高ヨー角（45°以上）の顔に対して補正を優先する。

実験結果

リサーチクエスチョン

• RQ1 特徴空間に学習可能で軽量なモジュールを導入することで、プロファイル顔と正面顔の表現ギャップを効果的に埋め合わせることができるか？
• RQ2 残差マッピングによる特徴空間変換は、認識精度と頑健性の面で画像空間での正面化を上回るか？
• RQ3 ソフトゲート機構は、特に極端なプロファイル顔を含むさまざまなポーズ角において、性能にどのように影響を与えるか？
• RQ4 DREAM ブロックは、アーキテクチャの変更なしに、さまざまな深層ネットワークアーキテクチャに普遍的に適用可能か？
• RQ5 トレーニング時に追加のプロファイル顔データを必要とせずに、DREAM ブロックはプロファイル顔認識の性能を向上させることができるか？

主な発見

• DREAM ブロックは、ベースラインの ResNet-18 と比較して、MS-Celeb-1M で等誤差率（EER）を 1.25% 減少させ、EER 8.45% を達成した。
• ソフトゲート機構は性能向上に顕著な寄与を示しており、常に閉じる（すなわち、適応的制御を無効化する）と EER が 9.31% に上昇する。これは、単なるパrameter追加ではなく、機構そのものの必要性を証明している。
• 非線形ソフトゲートマッピングは線形マッピングを上回り、EER を 0.37% 減少（8.82% から 8.45%）させ、高ヨー角顔の補正における有効性を確認した。
• 特徴層の後（プーリングの後）に DREAM ブロックを挿入すると、EER 8.45% に対してプーリング位置では 9.22% と、より優れた性能が得られた。
• DREAM ブロックは、ResNet-18、ResNet-50、Center-Loss モデルを含む複数のアーキテクチャで一貫して性能向上を示し、汎用性を確認した。
• 本手法は、特に極端なヨー角状況下で、CIFP および IJB-A データセットにおいて、ベースラインと比較して誤検出（False Positives）と誤検出（False Negatives）の両方を低減し、優れた性能を発揮した。