[論文レビュー] Neural Generative Models for 3D Faces with Application in 3D Texture Free Face Recognition

Ahmed El-Sayed, Elif Kongar+3 more|arXiv (Cornell University)|Nov 11, 2018

Face recognition and analysis参考文献 13被引用数 4

ひとこと要約

本稿では、3次元顔の点群をコンパクトで標準化された表現に変換するニューラル生成モデルのアプローチを提案する。この手法により、ストレージサイズの削減と正確な再生成が可能になる。3次元スキャンデータを用いてモデルを学習し、その重みをシamese畳み込みニューラルネットワーク（Siamese CNN）の入力として使用することで、ボスポラスデータセット上で100%の認証精度を達成。これは、最先端の結果を上回るものであり、データ拡張および異種の深度センサーとの互換性もサポートする。

ABSTRACT

Using heterogeneous depth cameras and 3D scanners in 3D face verification causes variations in the resolution of the 3D point clouds. To solve this issue, previous studies use 3D registration techniques. Out of these proposed techniques, detecting points of correspondence is proven to be an efficient method given that the data belongs to the same individual. However, if the data belongs to different persons, the registration algorithms can convert the 3D point cloud of one person to another, destroying the distinguishing features between the two point clouds. Another issue regarding the storage size of the point clouds. That is, if the captured depth image contains around 50 thousand points in the cloud for a single pose for one individual, then the storage size of the entire dataset will be in order of giga if not tera bytes. With these motivations, this work introduces a new technique for 3D point clouds generation using a neural modeling system to handle the differences caused by heterogeneous depth cameras, and to generate a new face canonical compact representation. The proposed system reduces the stored 3D dataset size, and if required, provides an accurate dataset regeneration. Furthermore, the system generates neural models for all gallery point clouds and stores these models to represent the faces in the recognition or verification processes. For the probe cloud to be verified, a new model is generated specifically for that particular cloud and is matched against pre-stored gallery model presentations to identify the query cloud. This work also introduces the utilization of Siamese deep neural network in 3D face verification using generated model representations as raw data for the deep network, and shows that the accuracy of the trained network is comparable all published results on Bosphorus dataset.

研究の動機と目的

• 多様な深度カメラから得られる3次元顔点群におけるストレージの肥大化と異種性の問題に対処すること。
• ニューラル生成モデリングを用いて、3次元顔のコンパクトで標準化された表現を構築すること。
• 学習されたモデル重みをシameseディープニューラルネットワークの入力として用いることで、正確な3次元顔認証を可能にすること。
• 小規模またはノイズの多いデータセットに対して、データ拡張およびスーパーレゾリューションをサポートすること。
• テクスチャなしのニュートラルな表情のスキャンを用いて、ボスポラス3次元顔認識データセットで最先端の性能を達成すること。

提案手法

• 生の深度スキャンから3次元顔点群のコンパクトで標準化された表現を学習するため、ニューラル生成モデルを訓練する。
• モデルは回帰を用いて、顔の幾何学的形状を保持しつつ滑らかでノイズ低減された3次元点群を生成する。
• 訓練済みモデルの重みを、シamese畳み込みニューラルネットワーク（Siamese CNN）の入力データとして使用する。
• データ拡張により、モデル重みの正例および負例ペアを生成し、認証用にシameseネットワークを訓練する。
• シameseネットワークは、50,000組の正例および70,000組の負例を用いて訓練およびテストする。そのうち50%を訓練用、50%をテスト用に使用する。
• モデル重みから3次元点群を再生成できるため、既存の3次元顔認識技術との互換性が保証される。

実験結果

リサーチクエスチョン

• RQ1 異種の深度センサーからの入力に対して、ニューラル生成モデルは正確でコンパクトかつノイズ低減された3次元顔点群の表現を生成できるか？
• RQ2 訓練済み生成モデルの重みは、3次元顔認証におけるシamese CNNの有効な入力として機能するか？
• RQ3 提案手法は、ボスポラスデータセットにおいて、最先端の技術と比較して優れた認証精度を達成するか？
• RQ4 生成モデルは、小規模またはノイズの多いデータセットに対して、どの程度データ拡張およびスーパーレゾリューションを支援できるか？
• RQ5 モデル表現は、ストレージサイズの削減と再生成の可能性を確保しつつ、顔の特徴を特徴的に保持できるか？

主な発見

• 提案されたニューラル生成モデルは、入力に著しいノイズが存在しても、元のデータに非常に近い高品質で滑らかな3次元顔点群を生成する。
• 生成されたモデル重みを入力として用いたシamese CNNは、ボスポラスデータセットで100%の認証精度を達成し、これまでに発表されたすべての結果を上回った。
• 訓練およびテスト損失曲線から過学習の兆候が認められず、50,000イテレーションにわたる安定的で効果的な学習が示された。
• ROC曲線および精度再現率曲線は、強力な識別性能を示しており、学習された表現の頑健性を裏付けた。
• 1つのモデルから正例および負例ペアを追加で生成できるため、データ拡張が可能であり、小規模データセットの制限を緩和できる。
• モデル重みは、3次元点群のストレージサイズを削減しつつ、元の幾何形状を完全に再生成可能なコンパクトで損失ありの表現として機能する。