[論文レビュー] Enhancing Convolutional Neural Networks for Face Recognition with Occlusion Maps and Batch Triplet Loss

Daniel Sáez Trigueros, Li Meng+1 more|University of Hertfordshire Research Archive (University of Hertfordshire)|Jul 25, 2017

Face recognition and analysis参考文献 45被引用数 75

ひとこと要約

この論文は (1) 部分遮蔽下で頑健に動作する CNN を訓練するための遮蔽マップ主導のデータ拡張法と、(2) mean separation と score variance の双方を最小化する batch triplet loss を提案し、LFW および遮蔽顔データセットでの検証性能を改善することを示しています。

ABSTRACT

Despite the recent success of convolutional neural networks for computer vision applications, unconstrained face recognition remains a challenge. In this work, we make two contributions to the field. Firstly, we consider the problem of face recognition with partial occlusions and show how current approaches might suffer significant performance degradation when dealing with this kind of face images. We propose a simple method to find out which parts of the human face are more important to achieve a high recognition rate, and use that information during training to force a convolutional neural network to learn discriminative features from all the face regions more equally, including those that typical approaches tend to pay less attention to. We test the accuracy of the proposed method when dealing with real-life occlusions using the AR face database. Secondly, we propose a novel loss function called batch triplet loss that improves the performance of the triplet loss by adding an extra term to the loss function to cause minimisation of the standard deviation of both positive and negative scores. We show consistent improvement in the Labeled Faces in the Wild (LFW) benchmark by applying both proposed adjustments to the convolutional neural network training.

研究の動機と目的

• 現実的な遮蔽下での頑健な顔認識を動機づけ、CNN の意思決定を支持する顔領域を特定する。
• 遮蔽感度マップに基づく遮蔽ベースのデータ拡張を導入し、顔領域間の特徴学習をバランスさせる。
• unseen identities への一般化を向上させるため、スコア分布のばらつきを制御する batch triplet loss を提案する。

提案手法

• 10 個の畳み込み層と1つの全結合層を持つ CNN アーキテクチャを分類器として訓練し、検証用のボトルネック特徴を取得する。
• 画像領域を遮蔽して平均化し、高影響領域と低影響領域を特定するための二値遮蔽マップを構築する。
• 遮蔽マップから導出された確率分布に従って遮蔽体を配置し、高影響領域を強調するよう training を拡張する。
• 新規の batch triplet loss でボトルネック特徴を微調整する：平均分離（triplet loss 項）と正例/負例スコアの分散項（式9）を組み合わせる。
• 訓練中に有益なトリプレット（アンカー、ポジティブ、ネガティブ）を選択するオンライントリプレットサンプリングを採用する。

実験結果

リサーチクエスチョン

• RQ1 遮蔽対応データ拡張は、非制約環境での部分的顔遮蔽に対する CNN の頑健性を向上させるか。
• RQ2 正例と負例の分布間のマージンと分散の両方を最小化する batch triplet loss は、標準ベンチマーク上の検証性能を向上させるか。
• RQ3 遮蔽対応訓練は、ランダム遮蔽拡張と比較して現実的な遮蔽への一般化にどの程度寄与するか。

主な発見

• 遮蔽対応訓練は、戦略的に配置された遮蔽体を用いることで、平均精度を向上させ、遮蔽位置間のばらつきを低減する。
• 遮蔽マップは中心部の顔領域を高影響エリアとして明示し、外側の顔領域からの識別特徴学習を支援するようなターゲット拡張を可能にする。
• AR顔データベースでは、遮蔽データで訓練したモデルがベースラインよりも優れており、特に低い誤認率で効果が高く、中程度の遮蔽が最良の全体性能を示す。
• LFW では、batch triplet loss で微調整されたモデル（モデルC）は、標準 triplet loss で訓練されたモデル（モデルB）より一貫して上回った。
• 遮蔽対応の微調整と batch triplet loss の組み合わせは、遮蔽あり・なしの評価シナリオの両方でベースラインを上回る改善を示す。