[論文レビュー] Attention-aware fusion for RGB-D face recognition

Hardik Uppal, Alireza Sepas‐Moghaddam+2 more|arXiv (Cornell University)|Feb 29, 2020

Face recognition and analysis参考文献 10被引用数 4

ひとこと要約

本論文は、RGB-D顔認識のためのアテンションに配慮した特徴融合手法を提案し、特徴表現を向上させるために2つのアテンション機構を適用する。1つは融合特徴マップに、もう1つはそれらの空間的構造に適用される。トランスファーラーニングとデータ拡張を用いることで、CurtinFacesでは98.2%、IIIT-Dでは99.3%の精度を達成し、最先端の手法を上回る性能を発揮した。

ABSTRACT

A novel attention aware method is proposed to fuse two image modalities, RGB and depth, for enhanced RGB-D facial recognition. The proposed method uses two attention layers, the first focused on the fused feature maps generated by convolution layers, and the second focused on the spatial features of those maps. The training database is preprocessed and augmented through a set of geometric transformations, and the learning process is further aided using transfer learning from a pure 2D RGB image training process. Comparative evaluations demonstrate that the proposed method outperforms other state-of-the-art approaches, including both traditional and deep neural network-based methods, on the challenging CurtinFaces and IIIT-D RGB-D benchmark databases, achieving classification accuracies over 98:2% and 99:3% respectively.

研究の動機と目的

• RGBと深度のモダリティを効果的に統合するためのアテンション機構を用いたRGB-D顔認識の向上を図ること。
• 現実世界の顔認識シナリオにおけるノイズが多いまたは一貫性のない深度データの課題に対処すること。
• 統合済みおよび空間的特徴マップにおける判別性の高い領域に注目することで、特徴表現を向上させること。
• 2次元RGBモデルからのトランスファーラーニングを活用し、学習の効率性と性能を向上させること。
• CurtinFacesやIIIT-Dのような挑戦的なRGB-Dベンチマークで最先端の性能を達成すること。

提案手法

• 融合特徴マップとその空間的分布の両方に、2段階のアテンション層を適用する。
• 融合の前段階として、RGBおよび深度入力から初期特徴を抽出するために畳み込み層を用いる。
• 訓練中のロバスト性と一般化性能を向上させるために、幾何的データ拡張を採用する。
• 2次元RGB顔認識モデルからの事前学習済み重みをネットワークの初期化に使用することで、トランスファーラーニングを活用する。
• アテンションスコアに基づいて重要な特徴を動的に重み付けすることで、統合プロセスを最適化する。
• 不要またはノイズの多い特徴を抑制するため、アテンション機構を統合し、判別力の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構は、顔認識におけるRGBと深度特徴の統合をどのように改善できるか？
• RQ2 アテンションベースの特徴選択は、挑戦的なRGB-Dデータセットにおける認識精度をどの程度向上させるか？
• RQ3 2次元RGBモデルからのトランスファーラーニングは、限られた深度データを伴うRGB-D顔認識の性能を向上させることができるか？
• RQ4 提案手法は、ベンチマークデータセット上で既存の最先端の統合戦略と比べてどのように差をつけるか？
• RQ5 幾何的データ拡張は、アテンションに配慮した統合モデルのロバスト性にどのような影響を与えるか？

主な発見

• 提案手法は、CurtinFacesベンチマークデータセットで98.2%の分類精度を達成した。
• IIIT-D RGB-Dベンチマークでは、99.3%の認識精度に到達し、既存の最先端のアプローチを上回った。
• 二重のアテンション機構により、関連のある空間的およびチャネルワイドな特徴に注目することで、特徴の判別性が顕著に向上した。
• 2次元RGBモデルからのトランスファーラーニングは、特に限られた深度データを伴う状況でも、収束の高速化と性能の向上に寄与した。
• 幾何的データ拡張により、さまざまな照明条件やポーズ条件下でもモデルのロバスト性と一般化性能が向上した。
• 評価されたベンチマークにおいて、従来の統合手法および最近のディープラーニングベースの手法をすべて上回る性能を発揮した。