[論文レビュー] A Detailed Look At CNN-based Approaches In Facial Landmark Detection

Chih-Fan Hsu, Chia-Ching Lin+3 more|arXiv (Cornell University)|May 8, 2020

Face recognition and analysis参考文献 35被引用数 8

ひとこと要約

本論文は、ハイブリッド損失関数と識別ネットワークを用いてランドマーク間の関係性を強化することで、モデルアーキテクチャを変更せずに6つのベンチマークデータセットで顕著に精度を向上させる、新しいピクセル単位分類（PWC）モデルを提案する。この手法は、従来の回帰法およびヒートマップベースの手法を上回り、特に遮蔽や困難な状況下でも優れた性能を示す。

ABSTRACT

Facial landmark detection has been studied over decades. Numerous neural network (NN)-based approaches have been proposed for detecting landmarks, especially the convolutional neural network (CNN)-based approaches. In general, CNN-based approaches can be divided into regression and heatmap approaches. However, no research systematically studies the characteristics of different approaches. In this paper, we investigate both CNN-based approaches, generalize their advantages and disadvantages, and introduce a variation of the heatmap approach, a pixel-wise classification (PWC) model. To the best of our knowledge, using the PWC model to detect facial landmarks have not been comprehensively studied. We further design a hybrid loss function and a discrimination network for strengthening the landmarks' interrelationship implied in the PWC model to improve the detection accuracy without modifying the original model architecture. Six common facial landmark datasets, AFW, Helen, LFPW, 300-W, IBUG, and COFW are adopted to train or evaluate our model. A comprehensive evaluation is conducted and the result shows that the proposed model outperforms other models in all tested datasets.

研究の動機と目的

• 顔ランドマーク検出におけるCNNベースの回帰法とヒートマップ法の系統的分析および比較を行う。
• 顔ランドマーク検出に向けた未だ十分に検討されていないピクセル単位分類（PWC）モデルの可能性とその利点を調査する。
• 回帰とヒートマップの監視を組み合わせたハイブリッド損失関数を導入することで、PWCベースのランドマーク検出精度を向上させる。
• ランドマーク間の関係性を促進する識別ネットワークを用いて、ランドマークの整合性と形状の正確性を向上させる。
• 遮蔽を含む多様な条件下で、6つの標準的な顔ランドマークデータセットに対して提案手法を包括的に評価する。

提案手法

• PWCモデルは、各ランドマークを個別のピクセル単位分類タスクとして扱い、CNNバックボーンを用いて各ランドマークのヒートマップを予測する。
• ハイブリッド損失関数は、座標回帰のためのL2損失とヒートマップ監視のための交差エントロピー損失を組み合わせ、局所化精度を向上させる。
• 識別ネットワークは、実際のランドマーク配置と生成された配置を区別するように訓練され、モデルが顔らしいランドマーク配置を学習するよう促進する。
• 識別ネットワークは検出ネットワークとエンドツーエンドで訓練され、推論時間に影響を与えない。
• モデルは、遮蔽サブセットを含む6つのデータセット（AFW, Helen, LFPW, 300-W, IBUG, COFW）で訓練および評価される。
• アーキテクチャはそのままであり、性能向上は損失関数および識別ネットワークの設計に起因する。

実験結果

リサーチクエスチョン

• RQ1 顔ランドマーク検出において、回帰法とヒートマップベースのCNN手法は、精度、耐障害性、形状の一貫性の観点でどのように比較されるか？
• RQ2 ピクセル単位分類（PWC）モデルは顔ランドマーク検出に効果的に適用可能であり、その独自の利点と制限は何か？
• RQ3 回帰とヒートマップの監視を統合するハイブリッド損失関数は、PWCベースのランドマーク検出をどの程度向上させ得るか？
• RQ4 ランドマーク間の関係性を強制する識別ネットワークは、検出精度と形状の正確性をどのように向上させるか？
• RQ5 遮蔽や極端な表情などの困難な条件下で、提案手法はどのように性能を発揮するか？

主な発見

• 提案されたハイブリッド損失と識別ネットワークを備えたPWCモデルは、6つのベンチマークデータセット（AFW, Helen, LFPW, 300-W, IBUG, COFW）すべてでベースラインモデルを上回った。
• COFWデータセットでは、ハイブリッド+識別モデルがテスト画像の80％で他のモデルを上回る精度を達成し、特に重度の遮蔽下でも顕著な優位性を示した。
• 68個の顔ランドマークに対して、ハイブリッド+識別モデルは全テストモデルの中で最小のNMSEを達成し、遮蔽状況下でも顕著な改善が見られた。
• 識別ネットワークは検出精度を低下させることなくランドマークの形状一貫性を向上させ、推論時間に影響を与えない。
• ハイブリッド損失関数は、形状の曖昧さや部分的遮蔽によるランドマークのずれを効果的に低減したことが、定性的および定量的結果で示された。
• ランドマークが部分的に遮蔽されても、モデルは高い精度を維持し、遮蔽状況下では回帰法および標準的なヒートマップモデルを70％のケースで上回った。