[論文レビュー] Deep 3D Face Identification

Donghyun Kim, Matthias Hernandez+2 more|arXiv (Cornell University)|Mar 30, 2017

Face recognition and analysis参考文献 34被引用数 6

ひとこと要約

本論文は、大規模な3次元顔データセットの不足を補うために、転移学習と3次元データ拡張を用いた深層3次元顔認識手法を提案する。生成された3次元スキャン（形状のための可塑的モデルと、表情のためのオрソグラフィック投影による）を用いて事前学習済みのVGG-Face CNNを微調整することで、Bosphorus、BU-3DFE、3D-TECデータセットで最先端の精度を達成し、効率的でスケーラブルなマッチングを実現する。

ABSTRACT

We propose a novel 3D face recognition algorithm using a deep convolutional neural network (DCNN) and a 3D augmentation technique. The performance of 2D face recognition algorithms has significantly increased by leveraging the representational power of deep neural networks and the use of large-scale labeled training data. As opposed to 2D face recognition, training discriminative deep features for 3D face recognition is very difficult due to the lack of large-scale 3D face datasets. In this paper, we show that transfer learning from a CNN trained on 2D face images can effectively work for 3D face recognition by fine-tuning the CNN with a relatively small number of 3D facial scans. We also propose a 3D face augmentation technique which synthesizes a number of different facial expressions from a single 3D face scan. Our proposed method shows excellent recognition results on Bosphorus, BU-3DFE, and 3D-TEC datasets, without using hand-crafted features. The 3D identification using our deep features also scales well for large databases.

研究の動機と目的

• 深層ニューラルネットワークの学習に向けた大規模な3次元顔データセットの不足という課題に対処する。
• データ不足のため、3次元顔認識のための判別的特徴を学習することが難しいという困難を克服する。
• 深層特徴を活用することで、大規模なギャラリー集合向けに効率的でスケーラブルな3次元顔識別を可能にする。
• 表情の変動に起因するクラス内分散を最小限に抑えながら、クラス間差を最大化する。
• 単一の3次元スキャンから多様な表情を合成するデータ拡張技術を開発する。

提案手法

• 転移学習を用いて、小さな3次元顔スキャンのセット上で事前学習済みのVGG-Face CNNを微調整する。
• 多変量可塑的モデル（形状のためのBasel Face Model、表情のためのFaceWarehouse）を用いて、拡張された3次元顔データを生成する。
• 3次元スキャンをオルソグラフィック投影により2次元深度マップに変換する前に、剛体変換（回転と平行移動）を適用する。
• 拡張中に3次元スキャンにランダムなパッチを追加することで、遮蔽を模擬する。
• 3次元点群をオルソグラフィック投影により2次元平面に射影し、2.5次元深度マップを作成する。これは2次元CNNと互換性がある。
• 微調整されたCNNから深層特徴を抽出し、PCAと正規化後にコサイン距離を用いてアイデンティティマッチングを実行する。

実験結果

リサーチクエスチョン

• RQ1 2次元顔認識用のCNNからの転移学習が、限られた3次元データで3次元顔認識性能を効果的に向上させることができるか？
• RQ2 可塑的モデルを用いた3次元顔の拡張は、表情の変動に対するロバストネスを向上させるのにどの程度有効か？
• RQ3 2次元で学習されたCNNからの深層特徴は、手作業による幾何的特徴を用いずに3次元顔認識に一般化可能か？
• RQ4 本手法は、大規模な3次元顔識別において、計算時間と精度の面でどの程度スケーリング可能か？
• RQ5 標準ベンチマーク上で、最先端の3次元顔認識技術と比較して、競争力のある性能を達成できるか？

主な発見

• 本手法はBosphorusデータセットでランク1認識精度99.2％を達成し、先行手法を上回っている。
• BU-3DFEでは95.0％のランク1精度に達しており、挑戦的なベンチマークでも強力な性能を示している。
• 3D-TECでは、ケースIおよびIIで94.8％のランク1精度、ケースIIIおよびIVで81.3％のランク1精度を達成しており、表情変動に対して高いロバストネスを示している。
• 1件のプローブに対する識別処理の合計計算時間は3.25秒で、特徴抽出とマッチングは1秒未満で実行されるため、大規模ギャラリー向けに効率的である。
• 効率的な特徴マッチングのおかげで、最先端の手法と同等またはそれ以上の性能を示す一方、スケーラビリティが著しく優れている。
• 表情の合成とランダムな遮蔽を含むデータ拡張の活用により、特にプローブとギャラリーの間で表情が不一致である場合の一般化性能が向上している。