[論文レビュー] LUVLi Face Alignment: Estimating Landmarks' Location, Uncertainty, and Visibility Likelihood

Abhinav Kumar, Tim K. Marks+7 more|arXiv (Cornell University)|Apr 6, 2020

Face recognition and analysis参考文献 87被引用数 13

ひとこと要約

本稿では、顔のランドマーク位置、その不確実性（多次元正規分布またはラプラス分布として）、可視性確率（見えない、自己遮蔽、外部遮蔽）を同時に推定するエンドツーエンドのディーブラーニングフレームワーク、LUVLiを提案する。パラメトリックな不確実性モデルにおける尤度を最大化する新しいLUVLi損失関数を用いて訓練することで、最先端のランドマーク位置推定精度を達成するとともに、明示的な教師信号なしに遮蔽済みと遮蔽されていないランドマークを区別できる信頼性の高い不確実性推定を提供する。

ABSTRACT

Modern face alignment methods have become quite accurate at predicting the locations of facial landmarks, but they do not typically estimate the uncertainty of their predicted locations nor predict whether landmarks are visible. In this paper, we present a novel framework for jointly predicting landmark locations, associated uncertainties of these predicted locations, and landmark visibilities. We model these as mixed random variables and estimate them using a deep network trained with our proposed Location, Uncertainty, and Visibility Likelihood (LUVLi) loss. In addition, we release an entirely new labeling of a large face alignment dataset with over 19,000 face images in a full range of head poses. Each face is manually labeled with the ground-truth locations of 68 landmarks, with the additional information of whether each landmark is unoccluded, self-occluded (due to extreme head poses), or externally occluded. Not only does our joint estimation yield accurate estimates of the uncertainty of predicted landmark locations, but it also yields state-of-the-art estimates for the landmark locations themselves on multiple standard face alignment datasets. Our method's estimates of the uncertainty of predicted landmark locations could be used to automatically identify input images on which face alignment fails, which can be critical for downstream tasks.

研究の動機と目的

• 最先端の顔アライメント手法における不確実性と可視性推定の欠如に対処すること。
• ランドマーク位置、その不確実性、可視性状態を同時に予測する統合フレームワークの開発。
• 信頼性の低いランドマーク予測を検出できるようにすることで、安全に重要なアプリケーションにおける耐性を高めること。
• 68個のランドマークに対して詳細な可視性アノテーションが付与された、新しい大規模な顔アライメントデータセットの公開。
• 遮蔽に関する明示的教師信号なしに、不確実性推定をエンドツーエンドで学習可能であることを示すこと。

提案手法

• ランドマーク位置のヒートマップを予測するため、複数のアワーガラスモジュールを備えたU-Netベースのバックボーンを採用。
• ランドマーク位置は、ReLU活性化されたヒートマップ値の空間的平均として推定され、argmaxではなく、微分可能回帰を可能にする。
• 共分散行列のコレスキー分解を回帰するCholesky Estimator Network（CEN）ブランチを導入。
• 各ランドマークの可視性確率を二値または多クラス確率として予測するVisibility Estimator Network（VEN）を採用。
• パラメトリックモデルを用いて、ランドマーク位置の正確性、不確実性尤度、可視性予測を同時に最適化するLUVLi損失関数を定式化。
• 予測された不確実性分布における真値位置の尤度を最大化する微分可能損失関数を用いて、エンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 ランドマーク位置、不確実性、可視性の同時推定は、顔アライメントにおける耐性を向上させるか？
• RQ2 不確実性をパラメトリック分布（正規分布またはラプラス分布）として学習することで、直接回帰よりも優れた不確実性評価が可能か？
• RQ3 明示的な遮蔽教師信号なしに、不確実性推定が遮蔽されていないランドマークと外部遮蔽されたランドマークを自動で区別できるか？
• RQ4 argmaxではなく、ReLU活性化ヒートマップの空間的平均を用いることで、ランドマーク位置推定の精度と微分可能性にどのような差が出るか？
• RQ5 可視性予測を導入することで、困難なポーズ下におけるランドマーク位置推定の信頼性はどの程度向上するか？

主な発見

• LUVLiモデルは複数のベンチマークで最先端の性能を達成し、300W（Split 2）で2.10%のNME、Menpoで2.04%を記録。
• 明示的な遮蔽教師信号なしにもかかわらず、外部遮蔽されたランドマークの不確実性推定値は顕著に高く（平均|Σ|₀.⁵ = 34.41）、未遮蔽のもの（9.28）と顕著に差がつく。
• LUVLi損失関数におけるラプラス尤度を用いることで、正規尤度を上回る性能を発揮し、Menpoでは71.9%のAUC（正規分布では70.2%）を達成。
• argmaxからReLU活性化ヒートマップの空間的平均への置き換えにより、直接回帰と比較してNMEが2.2%改善。
• 300W-LP-2Dで事前学習した重みから微調整を開始すると、訓練を初期化から行うよりも優れた結果が得られる。
• U-netの数を8つから4つに削減することで、性能の低下を最小限に抑えつつ推論速度が約2倍に向上。