[論文レビュー] Robust RGB-D Face Recognition Using Attribute-Aware Loss

Luo Jiang, Juyong Zhang+1 more|arXiv (Cornell University)|Nov 24, 2018

Face recognition and analysis参考文献 53被引用数 5

ひとこと要約

本論文は、性別、人種、年齢などの属性に応じて特徴の近接性を正則化することで、特徴の判別性を向上させる属性に配慮した損失関数を提案する。大規模な100K人以上の個人を含むRGB-Dデータセット上で訓練する際、これらの属性を損失関数に統合することで、LFW上で98.42%という最先端の正確性を達成した。これはRGBのみや特徴融合ベースラインを上回り、推論のオーバーヘッドは低く抑えられている。

ABSTRACT

Existing convolutional neural network (CNN) based face recognition algorithms typically learn a discriminative feature mapping, using a loss function that enforces separation of features from different classes and/or aggregation of features within the same class. However, they may suffer from bias in the training data such as uneven sampling density, because they optimize the adjacency relationship of the learned features without considering the proximity of the underlying faces. Moreover, since they only use facial images for training, the learned feature mapping may not correctly indicate the relationship of other attributes such as gender and ethnicity, which can be important for some face recognition applications. In this paper, we propose a new CNN-based face recognition approach that incorporates such attributes into the training process. Using an attribute-aware loss function that regularizes the feature mapping using attribute proximity, our approach learns more discriminative features that are correlated with the attributes. We train our face recognition model on a large-scale RGB-D data set with over 100K identities captured under real application conditions. By comparing our approach with other methods on a variety of experiments, we demonstrate that depth channel and attribute-aware loss greatly improve the accuracy and robustness of face recognition.

研究の動機と目的

• 顔認識の訓練データにおけるサンプリング密度の不均一性が特徴空間の近接性を歪める問題に対処すること。
• 性別、人種、年齢などの外見以外の属性を訓練プロセスに組み込むことで、認識の耐障害性を向上させること。
• RGB-Dセンサからの深度情報を活用し、照明条件の変化に強い性能を向上させること。
• 複雑な特徴融合を避けることで、最小限の計算オーバーヘッドで高い正確性を維持する訓練手法を開発すること。
• 属性に配慮した正則化が、深層顔埋め込みにおける一般化性能と特徴の密着性を向上させることを示すこと。

提案手法

• 近接する訓練サンプルに対して、特徴の差と属性の差の間に線形関係を強制する属性に配慮した損失関数を導入する。
• 属性ベクトルを特徴空間にマッピングするための線形変換Gを用い、類似した属性が近い特徴表現をもたらすように保証する。
• 実環境条件下で撮影された10万以上の個人を含む大規模なRGB-Dデータセット上でCNNを訓練し、深度マップをRGB画像にアライメントし、深度値を正規化する。
• 属性に配慮した損失を標準的なソフトマックス分類損失と組み合わせ、特徴の分離度合いを制御するためのマージンτ = 0.58を用いる。
• マルチモデル統合や複雑なテンソル分解を必要としない単一段階の訓練パイプラインを採用する。
• 16Kおよび24Kイテレーション目で減衰する学習率スケジュールを用い、28Kイテレーション間、属性に配慮した損失項の重みを0.001に設定する。

実験結果

リサーチクエスチョン

• RQ1 性別や人種といった外見以外の属性を損失関数に組み込むことで、深層顔認識の耐障害性と正確性が向上するか？
• RQ2 属性に配慮した監視と併せて深度データを使用することで、実環境の照明やポーズの変化に対してもより良い一般化性能が得られるか？
• RQ3 従来のメトリック学習損失（例：トリプレット損失）やソフトマックスベースの手法と比較して、属性に配慮した損失は収束性と性能においてどのように異なるか？
• RQ4 属性に配慮した正則化は、訓練データにおけるサンプリング密度の不均一性の悪影響を緩和できるか？
• RQ5 属性に配慮した損失は、埋め込み空間における特徴の密着性とクラス間分離性をどの程度向上させるか？

主な発見

• 提案された属性に配慮した損失は、LFWデータセットで98.42%の検証正確性を達成し、ベースラインのソフトマックスモデル（97.43%）およびGTNN融合手法（97.78%）を上回った。
• 外見特徴のみで訓練されたモデル（FRFs）や顔属性特徴で訓練されたモデル（FAFs）と比較して、属性監視による共同最適化の利点を示した。
• 属性に配慮した損失は、モデルパラメータの増加がほとんどなく、テスト時に損失レイヤーが削除されるため、推論オーバーヘッドが一切生じなかった。
• 10万以上の個人を含む大規模なRGB-Dデータセットで訓練されたモデルは、多様な照明条件や表情の変化に対しても優れた一般化性能を示した。
• 深度データの使用は、照明変動に対する耐障害性を顕著に向上させた一方、属性正則化により明示的な幾何モデリングを必要とせずに特徴空間の構造が改善された。
• アブレーションスタディにより、属性に配慮した損失が、類似した属性を持つ個人の特徴分散を効果的に低減し、クラス内密着性が向上することを確認した。