[論文レビュー] 3D Face Recognition: A Survey

Yaping Jing, Xuequan Lu+1 more|arXiv (Cornell University)|Aug 25, 2021

Face recognition and analysis参考文献 132被引用数 7

ひとこと要約

本サーベイは、過去10年間における3次元顔認識技術を包括的にレビューし、従来の手法（局所的、包括的、ハイブリッド）とディープラーニングベースのアプローチに分類する。顔のアングル、表情、部分的遮蔽といった主な課題に対して、それらの性能、耐障害性、複雑さを評価する。また、ディープラーニングの成功を支える要因として、データ拡張、前処理、損失関数の重要性を強調し、分野の発展を促すために大規模な3次元顔データベースの構築を提言する。

ABSTRACT

Face recognition is one of the most studied research topics in the community. In recent years, the research on face recognition has shifted to using 3D facial surfaces, as more discriminating features can be represented by the 3D geometric information. This survey focuses on reviewing the 3D face recognition techniques developed in the past ten years which are generally categorized into conventional methods and deep learning methods. The categorized techniques are evaluated using detailed descriptions of the representative works. The advantages and disadvantages of the techniques are summarized in terms of accuracy, complexity and robustness to face variation (expression, pose and occlusions, etc). The main contribution of this survey is that it comprehensively covers both conventional methods and deep learning methods on 3D face recognition. In addition, a review of available 3D face databases is provided, along with the discussion of future research challenges and directions.

研究の動機と目的

• 過去10年間で開発された3次元顔認識技術について、体系的かつ最新のレビューを提供すること。
• 顔のアングル、表情、遮蔽などの変動に対する精度、複雑さ、耐障害性の観点から、従来の手法（局所的、包括的、ハイブリッド）とディープラーニングベースの手法を比較すること。
• データ拡張、前処理、損失関数が、ディープラーニングベースの3次元顔認識性能に与える役割を分析すること。
• 既存の公開3次元顔データベースを収集・評価し、データの可用性とスケーラビリティのギャップを特定すること。
• 大規模な3次元顔データベースの必要性や、低品質または困難なデータに対する改善手法といった、今後の研究の課題を提示すること。

提案手法

• 特徴抽出手法に基づき、3次元顔認識手法を従来の手法（局所的、包括的、ハイブリッド）とディープラーニングベースのアプローチに分類すること。
• 各カテゴリの代表的成果を、標準データセット上での詳細な記述と性能比較を用いてレビューすること。
• 3次元モーファブルモデル、部分特徴の組み合わせ、アングル回転などのデータ拡張戦略を分析し、トレーニングデータの多様性を高めること。
• ICPレジストレーションや3次元から2次元画像への変換などのデータ前処理技術を評価し、ネットワーク入力の品質を向上させること。
• VGGNet、ResNet、MobileNetV2、PointNet++などのディープニューラルネットワークアーキテクチャを調査し、3次元顔認識への適応法を検討すること。
• 損失関数（例：複数の損失関数）が、ディープラーニングパイプラインにおける特徴学習とモデル一般化に与える影響を調査すること。

実験結果

リサーチクエスチョン

• RQ1 従来の3次元顔認識手法（局所的、包括的、ハイブリッド）は、顔のアングル、表情、遮蔽に対する精度、計算コスト、耐障害性においてどのように比較されるか？
• RQ2 従来手法と比較して、ディープラーニングベースの3次元顔認識手法の主な利点と制限は何であるか？
• RQ3 データ拡張、前処理、損失関数は、3次元顔認識におけるディープラーニングモデルの性能にどのように影響するか？
• RQ4 既存の3次元顔データベースの現在の欠陥は何か？ それらは、頑健な認識システムの開発をどのように制限しているか？
• RQ5 実世界への導入に向けて3次元顔認識を発展させるために、最も重要な今後の研究方向性は何か？

主な発見

• 局所特徴ベースの手法は、表情変化や遮蔽に対して優れた耐障害性を示すが、包括的手法よりも高い計算コストを要する。
• 局所的およびグローバル特徴を組み合わせたハイブリッド手法は、アングル変化、照度変化、表情変化を効果的に処理でき、優れた性能を達成する。
• 特にVGG、ResNet、および軽量CNN（例：MobileNetV2）を用いたディープラーニングベースの手法は、従来手法に比べ顔認識精度を顕著に向上させる。
• 3次元モーファブルモデルとアングル変動の生成を用いた効果的なデータ拡張は、過学習を防ぎ、ディープラーニングパイプラインにおけるモデル一般化を向上させる。
• 大規模な3次元顔データベースの不足が依然として主要なブottleneckであり、多くのディープラーニング手法が学習を从来の重みから微調整するにとどまっている。
• 複数の損失関数の使用は、特徴学習を強化し、トレーニングの複雑さを低減させ、モデルの性能と収束性を向上させる。