[論文レビュー] PFLD: A Practical Facial Landmark Detector

Xiaojie Guo, Siyuan Li+6 more|ArXiv.org|Feb 28, 2019

Face recognition and analysis参考文献 46被引用数 35

ひとこと要約

PFLDは幾何学的正則化損失と補助的な姿勢ブランチを備えた軽量でエンドツーエンドの単一段階の顔特徴点検出器を提示します。高い精度を達成しつつ、モバイル環境での超高速（140 fpsを超える）速度と、tiny 2.1 MB のモデルを実現します。

ABSTRACT

Being accurate, efficient, and compact is essential to a facial landmark detector for practical use. To simultaneously consider the three concerns, this paper investigates a neat model with promising detection accuracy under wild environments e.g., unconstrained pose, expression, lighting, and occlusion conditions) and super real-time speed on a mobile device. More concretely, we customize an end-to-end single stage network associated with acceleration techniques. During the training phase, for each sample, rotation information is estimated for geometrically regularizing landmark localization, which is then NOT involved in the testing phase. A novel loss is designed to, besides considering the geometrical regularization, mitigate the issue of data imbalance by adjusting weights of samples to different states, such as large pose, extreme lighting, and occlusion, in the training set. Extensive experiments are conducted to demonstrate the efficacy of our design and reveal its superior performance over state-of-the-art alternatives on widely-adopted challenging benchmarks, i.e., 300W (including iBUG, LFPW, AFW, HELEN, and XM2VTS) and AFLW. Our model can be merely 2.1Mb of size and reach over 140 fps per face on a mobile phone (Qualcomm ARM 845 processor) with high precision, making it attractive for large-scale or real-time applications. We have made our practical system based on PFLD 0.25X model publicly available at \url{http://sites.google.com/view/xjguo/fld} for encouraging comparisons and improvements from the community.

研究の動機と目的

• 姿勢、照明、遮蔽など制約のある環境における正確で効率的かつコンパクトな顔特徴点検出の実務的ニーズに対応する。
• モバイル/組込みデバイスに適した速度を持つ単一段階ネットワークの開発。
• 訓練に幾何学的正則化とデータ不均衡処理を組み込み、姿勢や条件を跨ぐ頑健性を向上させる。
• 最先端の精度を損なうことなく高いコンパクト性を実現し、モバイルハードウェアでのリアルタイム実装を可能にする。

提案手法

• サイズを削減し速度を向上させるため、MobileNetブロックを用いるエンドツーエンドの単一段階バックボーンネットワークを設計する。
• 追加の注釈を必要とせず、3D頭部姿勢（ yaw, pitch, roll ）を推定する補助ネットワークを導入する。
• データ不均衡に対処するため、3D姿勢ベースの幾何学的正則化とサンプルごとの重み付けを結合する新規損失を提案する。
• 高精度なランドマーク局在化の受容野を拡大するため、マルチスケールFully-Connected（MS-FC）層を組み込む。
• 姿勢認識を考慮したaugmentationと正則化で訓練する。テストは効率のためバックボーンネットワークのみを使用する。

実験結果

リサーチクエスチョン

• RQ1 コンパクトなモデルで、野生条件（姿勢、表情、照明、遮蔽）下で高いランドマーク局在精度をどう達成するか？
• RQ2 幾何学的正則化を用いた姿勢認識を考慮した訓練目的は、最先端手法を上回る頑健性を実現できるか？
• RQ3 小さな footprint でリアルタイム性能をモバイルデバイスで維持しつつ、精度を犠牲にしないことは可能か？

主な発見

• PFLD系列は300WおよびAFLWベンチマークでいくつかの最先端手法を上回る。
• 0.25Xモデルは、サイズを大幅に削減しつつ高い速度とともに強力な精度を達成する（2.1 MB）。
• 1Xモデルはさらに高い精度を示しつつ、モバイルハードウェアでのリアルタイム性能を実現する。
• 0.25Xおよび1Xモデルは、Qualcomm ARM 845プロセッサ（顔ごと）で140 fpsを超えて動作する。
• 補助姿勢ブランチと提案損失は、姿勢、遮蔽、照明変動への頑健性向上に共同で寄与する。