[論文レビュー] Pairwise Relational Networks for Face Recognition

Bong-Nam Kang, Yonghyun Kim+1 more|arXiv (Cornell University)|Aug 15, 2018

Face recognition and analysis参考文献 31被引用数 10

ひとこと要約

本稿では、顔の特徴マップ上の顔の特徴点周辺の局所的外見パッチ同士の関係を、関係的アテンションメカニズムを用いて捉えるペairワイズリレーショナルネットワーク（PRN）を提案する。さらに、アイデンティティに依存するLSTM状態によって強化される。この手法は、グローバル特徴と関係的表現を組み合わせることで、LFWで99.76%、YTFで96.3%の最先端性能を達成した。

ABSTRACT

Existing face recognition using deep neural networks is difficult to know what kind of features are used to discriminate the identities of face images clearly. To investigate the effective features for face recognition, we propose a novel face recognition method, called a pairwise relational network (PRN), that obtains local appearance patches around landmark points on the feature map, and captures the pairwise relation between a pair of local appearance patches. The PRN is trained to capture unique and discriminative pairwise relations among different identities. Because the existence and meaning of pairwise relations should be identity dependent, we add a face identity state feature, which obtains from the long short-term memory (LSTM) units network with the sequential local appearance patches on the feature maps, to the PRN. To further improve accuracy of face recognition, we combined the global appearance representation with the pairwise relational feature. Experimental results on the LFW show that the PRN using only pairwise relations achieved 99.65% accuracy and the PRN using both pairwise relations and face identity state feature achieved 99.76% accuracy. On the YTF, both the PRN using only pairwise relations and the PRN using pairwise relations and the face identity state feature achieved the state-of-the-art (95.7% and 96.3%). The PRN also achieved comparable results to the state-of-the-art for both face verification and face identification tasks on the IJB-A, and the state-of-the-art on the IJB-B.

研究の動機と目的

• 深層顔認識における解釈不能性、すなわちどの特徴がアイデンティティを区別しているかが不明であるという問題に対処すること。
• 特徴マップ上の局所的顔外見パッチ間のアイデンティティ依存のペアワイズ関係をモデル化し、識別能を向上させること。
• グローバル外見特徴と局所的関係的表現を統合することで、顔認識の精度を向上させること。
• 局所的パッチ特徴の順序付き系列を用いて、アイデンティティ状態で関係的処理を条件づけるメカニズムを開発すること。
• LFW、YTF、IJB-A、IJB-Bの複数のベンチマークデータセットにおいて、非制約的条件下で手法の有効性を検証すること。

提案手法

• PRNは、バックボーンCNNの特徴マップ上での顔の特徴点周辺から局所的外見パッチを抽出する。
• 学習可能な関係的アテンションメカニズムを用いて、すべてのパッチペア間の関係を計算する。
• 局所的パッチの系列を処理するLSTMにより、アイデンティティコンテキストで関係計算を条件づけるアイデンティティ状態特徴を生成する。
• 最終的な表現は、バックボーンCNNのグローバル特徴ベクトルと、PRNからの関係的特徴を組み合わせることで得られる。
• アイデンティティ分離性と識別性を最適化するために、ハードマイニングを用いたトリプレット損失でモデルを訓練する。
• パッチ抽出の前処理として、顔のアライメントを深層回帰モデル（DAN）を用いて行い、顔の特徴点を正規化する。

実験結果

リサーチクエスチョン

• RQ1 特徴マップ上の局所的顔パッチ間のペアワイズ関係は、非制約的環境下での顔認識性能を向上させ得るか？
• RQ2 アイデンティティ状態特徴で関係計算を条件づけることで、識別力と認識精度にどのような影響を与えるか？
• RQ3 関係的特徴は、顔認識タスクにおけるグローバル表現とどの程度補完的か？
• RQ4 提案されたPRNは、LFW、YTF、IJB-A、IJB-Bといった標準ベンチマークで最先端性能を達成するか？
• RQ5 モデルは、顔認証と識別タスクの両方で一般化可能であり、一貫した性能向上を示すか？

主な発見

• ペアワイズ関係のみを用いたPRNは、LFWデータセットで99.65%の精度を達成し、グローバル特徴への依存を最小限に抑えた強力な性能を示した。
• グローバル特徴とペアワイズ関係、アイデンティティ状態を組み合わせた完全なPRNモデルは、LFWで99.76%の精度を達成し、新たな最先端性能を樹立した。
• YTFデータセットでは、ペアワイズ関係のみで95.7%、アイデンティティ状態を含むことで96.3%の精度を達成し、両者とも最先端の結果であった。
• IJB-Bでは、PRNモデル（モデルC）が、FAR=0.00001におけるTAR 0.721、FPIR=0.01におけるTPIR 0.814、ランク10精度0.975を達成し、最先端性能を記録した。
• アイデンティティ状態特徴はベースラインPRNよりも顕著に性能を向上させ、アイデンティティ依存の関係的意味をモデル化する役割を果たしていることを確認した。
• PRNは、すべてのデータセットとタスクにおいて、ベースラインCNNおよびPRNオンリーモデルを一貫して上回り、関係的およびアイデンティティに依存するコンponentsの有効性を検証した。