[論文レビュー] Data-Free Point Cloud Network for 3D Face Recognition

Ziyu Zhang, Feipeng Da+1 more|arXiv (Cornell University)|Nov 12, 2019

Face recognition and analysis参考文献 29被引用数 13

ひとこと要約

本稿では、ガウス過程可塑モデル（GPMM）から生成された合成3D顔スキャンにのみ基づいてトレーニングされるPointNet++ベースのネットワークを用いた、データフリーな3D顔認識手法を提案する。幾何的曲率に基づいて特徴抽出を強化する曲率に配慮したポイントサンプリング（CPS）戦略を採用することで、実顔に対しても良好な一般化性能を示し、小規模な実データセットでのファインチューニング後、最先端の性能を達成する。この手法は、ポーズや表情の変化に対しても強く頑健であることが示された。

ABSTRACT

Point clouds-based Networks have achieved great attention in 3D object classification, segmentation and indoor scene semantic parsing. In terms of face recognition, 3D face recognition method which directly consume point clouds as input is still under study. Two main factors account for this: One is how to get discriminative face representations from 3D point clouds using deep network; the other is the lack of large 3D training dataset. To address these problems, a data-free 3D face recognition method is proposed only using synthesized unreal data from statistical 3D Morphable Model to train a deep point cloud network. To ease the inconsistent distribution between model data and real faces, different point sampling methods are used in train and test phase. In this paper, we propose a curvature-aware point sampling(CPS) strategy replacing the original furthest point sampling(FPS) to hierarchically down-sample feature-sensitive points which are crucial to pass and aggregate features deeply. A PointNet++ like Network is used to extract face features directly from point clouds. The experimental results show that the network trained on generated data generalizes well for real 3D faces. Fine tuning on a small part of FRGCv2.0 and Bosphorus, which include real faces in different poses and expressions, further improves recognition accuracy.

研究の動機と目的

• 深層ネットワークのトレーニングに適した大規模な3D顔データセットの不足に対処する。
• 合成トレーニングデータと現実世界の3D顔スキャンとの間のドメインギャップを克服する。
• 局所的およびグローバルな顔の特徴を効果的に捉えるポイントクラウドに配慮した深層ネットワークの開発。
• 実際のトレーニングデータを一切必要とせず、合成データと最小限の実データでのファインチューニングのみで高性能な3D顔認識を実現する。
• 分布に配慮したサンプリングとモデル設計により、ポーズおよび表情の変化に対する耐性を向上させる。

提案手法

• ガウス過程可塑モデル（GPMM）を用いて、多様なアイデンティティと形状・表情の変化を持つ大規模な合成3D顔スキャンを生成する。
• 幾何的曲率に基づいて特徴に敏感なポイントを段階的にダウンサンプリングする曲率に配慮したポイントサンプリング（CPS）戦略を導入し、標準的な最遠点サンプリング（FPS）に代わる。
• 生のポイントクラウドから階層的な局所的およびグローバルな特徴を直接抽出できるように、変更を加えたPointNet++アーキテクチャを設計する。
• 推論時に顔領域制約を適用し、サンプリング分布を実顔データに合わせることで、合成データと実データの間のドメインシフトを低減する。
• 合成データ上でソフトマックス分類を用いてネットワークをエンドツーエンドでトレーニングし、その後FRGCv2.0およびBosphorusの少量の実顔スキャンを用いてファインチューニングを実施する。
• 顔認証および識別に512次元の特徴埋め込みを用い、ポーズおよび表情の変化下での標準ベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 完全に合成3D顔データにのみ基づいてトレーニングされた深層ポイントクラウドネットワークが、実世界の3D顔認識タスクに効果的に一般化できるか？
• RQ2 3D顔認識において、標準的な最遠点サンプリング（FPS）と比較して、曲率に配慮したポイントサンプリング（CPS）はどのように特徴表現を向上させるか？
• RQ3 少量の実顔スキャンでのファインチューニングが、合成データで事前トレーニングされたモデルの性能をどの程度向上させるか？
• RQ4 本手法は、実世界の3D顔データにおけるポーズおよび表情の変化に対してどの程度頑健か？
• RQ5 GPMMで生成されたデータを用いた場合、トレーニングデータのスケールが認識精度に与える影響は何か？

主な発見

• 本手法は、合成データでのみトレーニングした場合、FRGCv2.0データセットでランク1正答率92.74%を達成し、標準的なPointNet++（72.55%）を著しく上回った。
• FRGCv2.0の466枚の実顔スキャンを用いたファインチューニング後、ランク1正答率は98.73%に達し、300万枚を超えるスキャンでトレーニングされたFR3DNet（99.88%）に近い性能を示した。
• Bosphorusデータセットでは、ファインチューニングなしで全体のプローブセットで93.38%のランク1正答率を達成し、30名のアイデンティティでファインチューニング後は97.50%に向上した。
• 曲率に配慮したポイントサンプリング（CPS）戦略は、特徴学習を顕著に向上させ、標準的なPointNet++と本手法との間の性能差がそれを裏付けている。
• 実データでのファインチューニングは、特に表情不変タスクにおいて顕著な性能向上をもたらし、事前トレーニングとファインチューニングのパイプラインの有効性を示した。
• 未観測のアイデンティティに対しても良好に一般化され、中立的、怒り、恐れ、驚きなどの多様な表情カテゴリにおいても強固な性能を維持した。