[論文レビュー] Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks

Zhenhua Feng, Josef Kittler+3 more|arXiv (Cornell University)|Nov 17, 2017

Face recognition and analysis被引用数 36

ひとこと要約

本稿では、顔のランドマーク検出のための深層畳み込みニューラルネットワーク（CNN）の学習を向上させるために、小さな誤差と中程度の誤差の影響を強調する新しい区分的損失関数「Wing損失」を提案する。300WおよびAFLWベンチマークにおいて最先端の精度を達成し、従来手法と比較して誤差を最大20％まで低減する。また、ポーズに基づくデータバランス化と、より高いロバスト性とパフォーマンスを実現する二段階フレームワークを導入する。

ABSTRACT

We present a new loss function, namely Wing loss, for robust facial landmark localisation with Convolutional Neural Networks (CNNs). We first compare and analyse different loss functions including L2, L1 and smooth L1. The analysis of these loss functions suggests that, for the training of a CNN-based localisation model, more attention should be paid to small and medium range errors. To this end, we design a piece-wise loss function. The new loss amplifies the impact of errors from the interval (-w, w) by switching from L1 loss to a modified logarithm function. To address the problem of under-representation of samples with large out-of-plane head rotations in the training set, we propose a simple but effective boosting strategy, referred to as pose-based data balancing. In particular, we deal with the data imbalance problem by duplicating the minority training samples and perturbing them by injecting random image rotation, bounding box translation and other data augmentation approaches. Last, the proposed approach is extended to create a two-stage framework for robust facial landmark localisation. The experimental results obtained on AFLW and 300W demonstrate the merits of the Wing loss function, and prove the superiority of the proposed method over the state-of-the-art approaches.

研究の動機と目的

• 標準的な損失関数（例：L2）が深層CNNベースの顔のランドマーク検出において抱える限界を是正すること。
• 小さな誤差と中程度の回帰誤差に注目することで、学習の安定性と精度を向上させ、ロバストな検出を実現すること。
• 特に、平面外回転が大きい顔のデータに顕著なデータの不均衡を是正すること。
• 段階的フィードバックを可能にする二段階フレームワークを構築し、ランドマーク検出の精度を向上させること。
• Wing損失が多様なCNNアーキテクチャとベンチマークデータセットに一般化可能であることを実証すること。

提案手法

• Wing損失を提案。これは、定義された区間（-w, w）内でL1から修正された対数関数に移行する区分的損失関数であり、小さな誤差と中程度の誤差に重点を置く。
• ポーズに基づくデータバランス化戦略を設計。特に、少数派のサンプル（例：大きな頭部回転）をランダムな画像回転とバウンディングボックスの平行移動により複製・拡張する。
• 二段階のカスケード回帰フレームワークを採用。最初の段階で粗いランドマークを予測し、2番目の段階で最初の段階の特徴マップを用いてそれを精緻化する。
• AFLWおよび300Wデータセット上でWing損失で微調整された標準的なCNNアーキテクチャ（例：CNN-6/7、ResNet-50）を用いる。
• ランダムな回転と平行移動を含むデータ拡張技術を適用し、困難なポーズにおける一般化性能を向上させる。
• 複数のネットワークアーキテクチャとベンチマークを用いて損失関数を検証し、ロバスト性とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの顔のランドマーク検出において、一般的な損失関数（L1、L2、smooth L1）の性能はどのように比較されるか？
• RQ2 小さな誤差と中程度の回帰誤差に重点を置く新しい損失関数を設計することで、ランドマーク検出の精度を向上させられるか？
• RQ3 特に平面外回転が大きい場合のデータの不均衡は、モデルのパフォーマンスにどのように影響するか？また、効果的に是正できるか？
• RQ4 二段階フレームワークは、Wing損失を用いた単一段階モデルよりもパフォーマンスをさらに向上させられるか？
• RQ5 Wing損失は、ResNet-50のようなより深いモデルを含む、さまざまな深層ネットワークアーキテクチャに一般化可能か？

主な発見

• 300Wデータセットにおいて、Wing損失は平均正規化誤差（NME）を3.60%（×10⁻²）まで低減し、以前の最先端手法RARと比較して約20％の改善を達成した。
• AFLW-Fullにおいて、Wing損失を用いたResNet-50はNMEが1.47%（×10⁻²）にまで低下し、CNN-6/7ベースラインと比較して10％の改善を示した。
• 提案されたポーズに基づくデータバランス化戦略は、特に平面外回転が大きい場合の困難なポーズにおいて、顕著なパフォーマンス向上をもたらした。
• 二段階フレームワークは、単一段階モデルよりも高い精度を達成し、段階的フィードバックの利点を示した。
• Wing損失を用いたCNN-6/7モデルは、GPU上で170 fpsで動作し、大多数のDNNベースの手法よりも高速でありながら、高い精度を維持した。
• ResNet-50にWing損失を適用した場合、テストされたすべての損失関数の中で優れたパフォーマンスを示し、深層ネットワークにおける有効性を確認した。