[論文レビュー] FaceX-Zoo: A PyTorch Toolbox for Face Recognition

Jun Wang, Yinglu Liu+3 more|arXiv (Cornell University)|Jan 12, 2021

Face recognition and analysis参考文献 36被引用数 14

ひとこと要約

FaceX-Zoo は、多様なバックボーンと監視ヘッドを柔軟に組み合わせた学習を可能にし、ベンチマーク間での標準化された評価と、軽量SDKによるエンドツーエンドのデプロイを実現するモジュラーで、PyTorchベースのオープンソースフレームワークである。3Dベースの仮想マスク合成手法（FMA-3D）を導入し、リアルなマスクをかけた顔データを生成し、MegaFace-Maskで78.39%のランク1正答率を達成。ベースラインを50ポイント以上上回った。

ABSTRACT

Deep learning based face recognition has achieved significant progress in recent years. Yet, the practical model production and further research of deep face recognition are in great need of corresponding public support. For example, the production of face representation network desires a modular training scheme to consider the proper choice from various candidates of state-of-the-art backbone and training supervision subject to the real-world face recognition demand; for performance analysis and comparison, the standard and automatic evaluation with a bunch of models on multiple benchmarks will be a desired tool as well; besides, a public groundwork is welcomed for deploying the face recognition in the shape of holistic pipeline. Furthermore, there are some newly-emerged challenges, such as the masked face recognition caused by the recent world-wide COVID-19 pandemic, which draws increasing attention in practical applications. A feasible and elegant solution is to build an easy-to-use unified framework to meet the above demands. To this end, we introduce a novel open-source framework, named FaceX-Zoo, which is oriented to the research-development community of face recognition. Resorting to the highly modular and scalable design, FaceX-Zoo provides a training module with various supervisory heads and backbones towards state-of-the-art face recognition, as well as a standardized evaluation module which enables to evaluate the models in most of the popular benchmarks just by editing a simple configuration. Also, a simple yet fully functional face SDK is provided for the validation and primary application of the trained models. Rather than including as many as possible of the prior techniques, we enable FaceX-Zoo to easily upgrade and extend along with the development of face related domains. The source code and models are available at https://github.com/JDAI-CV/FaceX-Zoo.

研究の動機と目的

• 実世界のシナリオにおける深層顔認識モデルのトレーニング、評価、デプロイメントを統合的かつ拡張可能に実行するためのフレームワークの欠如に対処すること。
• 最小限の設定で複数のデータセットをカバーする、効率的で標準化されたベンチマーク評価を可能にすること。
• 合成データ生成を通じて、マスクをかけた顔認識といった新たな課題を支援すること。
• 研究者や開発者が基盤として利用できる、スケーラブルでモジュラーかつ拡張可能なプラットフォームを提供すること。

提案手法

• フレームワークは、トレーニング、評価、SDKモジュールを分離したモジュラーなアーキテクチャを採用しており、バックボーンと監視ヘッドをプラグアンドプレイで統合可能である。
• 通常のトレーニングに加え、浅い顔データ向けの特殊な戦略をサポートし、限られたデータでも一般化性能を向上させる。
• 評価モジュールは、1つの設定ファイルで複数のベンチマークを自動的にテストする。
• 3Dベースの仮想マスク合成手法（FMA-3D）は、テクスチャマップをUV空間にマップし、顔のジオメトリとブレンドすることで、リアルなマスクをかけた顔画像を生成する。
• フレームワークはPRNetを用いて3D顔再構築を行い、UV空間でのブレンドを活用して、さまざまなポーズ下でも高精細なマスクをかけた顔を合成する。
• 訓練済みモデルは、FMA-3Dを非マスクデータセットに適用して作成された拡張ベンチマーク（例：MegaFace-Mask）で評価される。

実験結果

リサーチクエスチョン

• RQ1 統合的でモジュラーなフレームワークは、顔認識モデルのトレーニング、評価、デプロイメントをどのように簡素化できるか？
• RQ2 合成されたマスクをかけた顔データを用いたトレーニングにより、マスクをかけた顔認識モデルの性能はどの程度向上するか？
• RQ3 3Dベースの仮想マスク合成手法は、2DまたはGANベースの手法に比べ、より頑健で現実的なトレーニングデータを生成できるか？
• RQ4 マスクをかけた顔データの導入は、実世界の条件下での認識精度にどのように影響するか？

主な発見

• 非マスクのMS-Celeb1M-v1cデータセットで訓練されたベースラインモデルは、マスクをかけたMegaFace-Maskベンチマークでわずか27.03%のランク1正答率にとどまった。
• FMA-3Dを用いて合成されたマスク付きデータセット（MS-Celeb1M-v1c-Mask）で訓練した結果、MobileFaceNetバックボーンとMV-Softmaxヘッドを用いてランク1正答率が78.39%に向上した。
• トレーニング時に上顔領域のみをクロップした場合、正答率は71.44%に向上し、可視面部に焦点を当てることの利点が示された。
• 上顔領域のみを学習したモデルとマスク付きデータで学習したモデルをアンサンブル化した結果、MegaFace-Maskで最高のランク1正答率79.26%を達成した。
• FMA-3D手法は、特に大きな頭部ポーズ下でも、2DやGANベースの手法に比べて優れた忠実度と頑健性を示した。