[論文レビュー] Facial Landmark Detection with Tweaked Convolutional Neural Networks

Yue Wu, Tal Hassner+3 more|arXiv (Cornell University)|Nov 12, 2015

Face recognition and analysis参考文献 37被引用数 25

ひとこと要約

本論文は、事前学習済み畳み込みニューラルネットワーク（CNN）からの中間特徴を活用して、後続の層でポーズに特化した処理を施すことで、顔のランドマーク検出を向上させる、変更を加えた畳み込みニューラルネットワーク（TCNN）を提案する。これらのアライメントに敏感な特徴に基づいて最終層を微調整することにより、マルチパーツやマルチスケールアーキテクチャを必要とせず、AFLW、AFW、300Wベンチマークで最先端の性能を達成し、ラベルの数を減らしても精度と耐障害性が向上することを示した。

ABSTRACT

We present a novel convolutional neural network (CNN) design for facial landmark coordinate regression. We examine the intermediate features of a standard CNN trained for landmark detection and show that features extracted from later, more specialized layers capture rough landmark locations. This provides a natural means of applying differential treatment midway through the network, tweaking processing based on facial alignment. The resulting Tweaked CNN model (TCNN) harnesses the robustness of CNNs for landmark detection, in an appearance-sensitive manner without training multi-part or multi-scale models. Our results on standard face landmark detection and face verification benchmarks show TCNN to surpasses previously published performances by wide margins.

研究の動機と目的

• ポーズの変化、遮蔽、表情の変化といった制約のない条件下での顔のランドマーク検出を改善すること。
• ランドマーク回帰に用いられたCNNにおける中間特徴を分析し、それらが顔のアライメント情報を符号化していることを示すこと。
• マルチパーツやマルチスケールモデルを必要とせず、ポーズに気づいた中間特徴に基づいて差分処理を適用する新しいCNNアーキテクチャを設計すること。
• 大規模な補助データや複雑なアーキテクチャへの依存を減らしながら、高い精度を維持すること。
• Janusベンチマークを用いて、顔認識などの下流タスクにおけるこの手法の利点を示すこと。

提案手法

• 標準的なCNNがランドマーク回帰に用いられた中間特徴を分析し、それらが顔のアライメントとポーズを反映していることを示した。
• ポーズクラスタに基づいて、中間層で特徴マップを分割し、K個の別々の微調整済み全結合ブランチにルーティングする、変更を加えたCNN（TCNN）を導入した。
• 各ブランチは、特定の頭部ポーズに対応する訓練データのサブセット上で微調整され、異なるポーズに特化した処理が可能になった。
• 幾何的変換をポーズ推定に基づいて画像に適用することで、トレーニングデータを拡張する新しいデータオーグメンテーション戦略を導入し、微調整時の一般化性能を向上させた。
• 一般特徴抽出のための共有された初期畳み込み層を維持しながら、ポーズに特化した適応処理を最終層でのみ適用することで、過学習のリスクを低減した。
• 5つの検出されたランドマークを、49点または68点の検出器（例：CLNF）の初期化に使用することで、300Wベンチマークにおける性能が向上した。

実験結果

リサーチクエスチョン

• RQ1 ランドマーク回帰に用いられたCNNの内部特徴が、意味的なポーズやアライメント情報を符号化できるか？
• RQ2 後続のネットワーク層をポーズに特化して微調整することで、モデルの複雑さを増さずにランドマーク検出の精度を向上させられるか？
• RQ3 中間特徴を用いて特徴を動的にルーティングすることで、従来のCNNやマルチパーツモデルよりも優れた性能が得られるか？
• RQ4 ポーズに気づいた適応処理を備えた軽量で単一ブランチのCNNは、より複雑なマルチスケールまたはマルチパーツモデルを上回れるか？
• RQ5 改善されたランドマーク検出は、顔認識などの下流タスクに良い影響を与えるか？

主な発見

• TCNNは300Wベンチマークで最先端の性能を達成し、49点検出では平均誤差率（MER）が1.74、68点検出では3.49を記録し、既存手法を上回った。
• AFLWベンチマークでも、49点検出でMERが1.74、68点検出で3.49を達成し、一貫した改善が確認された。
• AFWベンチマークでは、49点検出でMERが1.74を記録し、制約の厳しいデータでも優れた一般化性能を示した。
• TCNNの出力によるより良いランドマークアライメントを活用することで、Janusベンチマークにおける顔認識の精度が向上した。
• TCNNから得た5つのランドマークをCLNFの初期化に使用することで、300Wベンチマークにおける49点および68点検出の精度が著しく向上し、標準的な初期化を用いた手法を上回った。
• ネットワークの最初の全結合層（FC5）からの中間特徴は、よく整った顔クラスタを生成し、強力なポーズおよびアライメント表現を示している。