[論文レビュー] Super-realtime facial landmark detection and shape fitting by deep regression of shape model parameters

Marcin Kopaczka, Justus Schock+1 more|arXiv (Cornell University)|Feb 9, 2019

Face recognition and analysis参考文献 9被引用数 5

ひとこと要約

本論文は、PCAに基づく統計的形状モデルからの形状モデルパラメータを直接回帰する深層畳み込みニューラルネットワークを用いて、反復的最適化を回避する、超リアルタイムな顔ランドマーク検出手法を提案する。PCAレイヤーをネットワークに統合することで、エンドツーエンド微分可能な学習が可能となり、単一GPUで410 FPSを達成しながら、RGB、赤外、医療画像を含む多様なデータセットにおいて高い精度を維持する。

ABSTRACT

We present a method for highly efficient landmark detection that combines deep convolutional neural networks with well established model-based fitting algorithms. Motivated by established model-based fitting methods such as active shapes, we use a PCA of the landmark positions to allow generative modeling of facial landmarks. Instead of computing the model parameters using iterative optimization, the PCA is included in a deep neural network using a novel layer type. The network predicts model parameters in a single forward pass, thereby allowing facial landmark detection at several hundreds of frames per second. Our architecture allows direct end-to-end training of a model-based landmark detection method and shows that deep neural networks can be used to reliably predict model parameters directly without the need for an iterative optimization. The method is evaluated on different datasets for facial landmark detection and medical image segmentation. PyTorch code is freely available at https://github.com/justusschock/shapenet

研究の動機と目的

• さまざまな画像モダリティにおいて、高精度かつ高い耐障害性を備えた超リアルタイム顔ランドマーク検出を可能にすること。
• アクティブ形状モデルのような反復的最適化に基づくモデルベースのフィッティング手法の計算ボトルネックを克服し、最適化を直接的な深層回帰に置き換えること。
• 微分可能であるPCAに基づく形状モデルを、エンドツーエンド学習が可能なニューラルネットワークレイヤーに統合し、高速な推論を実現すること。
• 顔検出を越えて、医療画像分野や赤外画像など可視画像以外のモダリティにおける他の形状フィッティングタスクへも一般化すること。
• 反復的精緻化に依存することを減らし、軽量で完全畳み込み型のアーキテクチャを用いて、入力画像から直接形状パラメータを予測すること。

提案手法

• 特徴抽出に、全結合層を避けることでパrameter数を削減し、速度を向上させる軽量で完全畳み込み型の深層畳み込みニューラルネットワークを用いる。
• 形状固有ベクトルの重み付き線形結合として最終的なランドマーク位置を計算する、新規の微分可能PCAレイヤーを導入し、エンドツーエンドバックプロパゲーションを可能にする。
• グローバル変換パラメータ（平行移動、スケーリング、回転）を別個に予測し、それらを標準形状に適用することで、画像座標系に一致させる。
• 画像の各軸に沿って空間的に分離された畳み込みを用いることで、パrameter数をさらに削減し、高い効率を維持する。
• 予測されたランドマークと真値ランドマークの間の正規化された点対点誤差を最小化する微分可能な損失関数を用いて、エンドツーエンドで学習する。
• アーキテクチャは、データセットに応じて形状パラメータ数と入力前処理のみを調整するだけで、一貫して適用可能である。

実験結果

リサーチクエスチョン

• RQ1 モデルベースのランドマークフィッティングにおいて、反復的最適化を深層回帰による形状パラメータ推定に置き換えても、精度が維持または向上するか？
• RQ2 深層畳み込みニューラルネットワークに統合された微分可能PCAレイヤーは、エンドツーエンド学習と超リアルタイム推論をどの程度可能にするか？
• RQ3 コントラスト、解像度、外観が異なるRGB、赤外、医療画像など、多様な画像モダリティに、この手法はどの程度一般化可能か？
• RQ4 300W、赤外顔、ネコ、JSRT、PROMISE12といったベンチマークデータセットにおいて、この手法の速度と精度はどの程度か？
• RQ5 グローバル変換パラメータの組み込みにより、モデルの複雑さを増さずに、ヘッドポーズや画像スケールの変化に対する耐障害性が向上するか？

主な発見

• 半精度推論を用いたGeForce RTX 2080 Tiで410 FPSを達成し、形状パラメータ数にかかわらず一定の速度を維持する。
• 300Wデータセットにおいて、屋外セットでは正規化点対点誤差が0.0126、屋内セットでは0.0108を記録し、制約のない条件下でも高い精度を示す。
• 赤外顔データセットでは正規化誤差が0.0102を記録し、より挑戦の高いRGBデータセットよりも優れた性能を示す。これは、制御された撮影条件によるものと推測される。
• ポーズや品種のばらつきが著しいネコデータセットでは、正規化誤差が0.0211を記録し、ランドマーク数が少ない状況や視覚的変動が著しい状況でも耐障害性を示す。
• 低コントラストで小規模なデータセットであるJSRT肺レントゲン画像データセットでは、25個の形状パラメータで正規化誤差0.0238を達成し、低コントラスト・小規模医療画像への有効性を示す。
• PROMISE12前立腺MRIデータセット（2Dスライス）では正規化誤差0.0281を記録し、形状ばらつきが小さい3D医療構造に対しても適用可能であることを確認した。