[論文レビュー] FAB: A Robust Facial Landmark Detection Framework for Motion-Blurred Videos

Keqiang Sun, Wayne Wu+6 more|arXiv (Cornell University)|Oct 26, 2019

Face recognition and analysis参考文献 42被引用数 11

ひとこと要約

本論文では、時間的構造的一致性を活用して、ぼやけた動画における顔ランドマーク検出を段階的に改善する、ロバストな顔ランドマーク検出フレームワークFABを提案する。過去のフレームからの顔のエッジを推定する構造予測器を用いることで、復元された画像からより良いランドマークが得られ、逆にランドマーク予測が将来の構造予測を改善するという好循環を実現し、Blurred-300VWおよびRWMBデータセットにおいて最先端の性能を達成した。

ABSTRACT

Recently, facial landmark detection algorithms have achieved remarkable performance on static images. However, these algorithms are neither accurate nor stable in motion-blurred videos. The missing of structure information makes it difficult for state-of-the-art facial landmark detection algorithms to yield good results. In this paper, we propose a framework named FAB that takes advantage of structure consistency in the temporal dimension for facial landmark detection in motion-blurred videos. A structure predictor is proposed to predict the missing face structural information temporally, which serves as a geometry prior. This allows our framework to work as a virtuous circle. On one hand, the geometry prior helps our structure-aware deblurring network generates high quality deblurred images which lead to better landmark detection results. On the other hand, better landmark detection results help structure predictor generate better geometry prior for the next frame. Moreover, it is a flexible video-based framework that can incorporate any static image-based methods to provide a performance boost on video datasets. Extensive experiments on Blurred-300VW, the proposed Real-world Motion Blur (RWMB) datasets and 300VW demonstrate the superior performance to the state-of-the-art methods. Datasets and models will be publicly available at https://keqiangsun.github.io/projects/FAB/FAB.html.

研究の動機と目的

• 既存の手法が構造的詳細の欠落により失敗する運動ぼやけ動画における正確な顔ランドマーク検出の課題に対処する。
• 復元とランドマーク検出の間で生じる「鶏が先か、卵が先か」のジレンマを、顔の構造の一貫性を活用することで克服する。
• 任意の静的画像向けランドマーク検出器に復元と構造予測を統合できる、柔軟な動画ベースのフレームワークを開発する。
• 運動ぼやけ動画データに対する性能評価をより適切に行うために、Blurred-300VWおよびReal-world Motion Blur (RWMB)の2つの新しいベンチマークデータセットを導入する。
• 構造予測器、復元ネットワーク、ランドマーク検出器の3つのコンponentを相互に最適化できる、エンドツーエンドのトレーニング戦略を実装する。

提案手法

• 2つの過去の境界マップから光流を外挿して得た情報を用い、現在のフレームの顔のエッジを推定する構造予測器を提案する。
• 予測された顔のエッジと入力のぼやけたフレームを融合することで、鮮鋭な画像を生成する境界認識型の復元ネットワークを採用する。
• 出力された復元画像に対して動作する交換可能な顔ランドマーク検出ネットワークを統合し、最先端のモデルと即座に統合可能なプラグアンドプレイ互換性を実現する。
• 現在のフレームのランドマーク予測結果を用いて、次のフレームの構造予測器を改善するフィードバックループを確立する。
• 予測された光流を用いて過去のフレームをアライメントするワーピングブロックを採用し、構造推定における時間的一致性を確保する。
• 個別に事前学習を行った後、構造予測器、復元ネットワーク、ランドマーク検出器を同時に最適化するための交互微調整戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 顔の構造における時間的一致性を活用することで、運動ぼやけ動画におけるランドマーク検出性能を向上させることができるか？
• RQ2 過去のフレームからの光流外挿に基づく構造予測器は、復元にための幾何的事前知識としてどれほど効果的か？
• RQ3 復元とランドマーク検出の間のフィードバックループは、独立した手法に比べて性能向上を著しくもたらすか？
• RQ4 FABフレームワークは、既存の最先端の静的画像向けランドマーク検出器を動画データに適用した場合、どの程度性能を向上させられるか？
• RQ5 提案されたBlurred-300VWおよびRWMBデータセットは、既存のベンチマークと比較して、運動ぼやけに対する耐性を評価する上でより現実的かつ挑戦的か？

主な発見

• FABフレームワークは、Blurred-300VWの困難なサブセットにおいて、正規化平均誤差（NME）が7.54%を達成し、ベースライン手法（14.91%）および最先端の復元＋検出パイプラインを顕著に上回った。
• 時間的光流外挿に基づく構造予測器を用いることで、ResNet-18をバックボーンとして用いた場合、事前学習済みランドマーク検出器を構造情報のソースとして使用する場合と比較して、NMEが49.43%低減した。
• FABフレームワークは複数の最先端ランドマーク検出器を強化した：FAN、SAN、RFLD、LABはいずれもNMEの大幅な改善を示し、特にRFLDは41.24%から20.07%に改善した。
• 構造認識型の復元ネットワークは、最先端の復元手法と比較して、PSNRおよびSSIMの両方で高い値を達成し、提案された幾何的事前知識の有効性を示した。
• 交互微調整戦略により一貫した性能向上が得られ、3つのコンponentを同時に最適化する利点が裏付けられた。
• 提案されたRWMBおよびBlurred-300VWデータセットは、顔ランドマーク検出における運動ぼやけ耐性を評価する上で、より現実的で挑戦的なベンチマークを提供した。