[論文レビュー] Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs

Adrian Bulat, Georgios Tzimiropoulos|arXiv (Cornell University)|Dec 7, 2017

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、任意のアングルの実世界の低解像度顔を対象として、顔の超解像とランドマーク検出を同時に実行する、初めてのエンド・ツー・エンドのGANベースのフレームワークであるSuper-FANを提案する。残差ベースの超解像アーキテクチャにヒートマップ回帰サブネットと新規のヒートマップ損失を統合することで、Super-FANは両タスクにおいて最先端の性能を達成し、プロファイルや部分的遮蔽がある顔を含む実世界のデータに対しても、鮮鋭で詳細な結果を生成する。

ABSTRACT

This paper addresses 2 challenging tasks: improving the quality of low resolution facial images and accurately locating the facial landmarks on such poor resolution images. To this end, we make the following 5 contributions: (a) we propose Super-FAN: the very first end-to-end system that addresses both tasks simultaneously, i.e. both improves face resolution and detects the facial landmarks. The novelty or Super-FAN lies in incorporating structural information in a GAN-based super-resolution algorithm via integrating a sub-network for face alignment through heatmap regression and optimizing a novel heatmap loss. (b) We illustrate the benefit of training the two networks jointly by reporting good results not only on frontal images (as in prior work) but on the whole spectrum of facial poses, and not only on synthetic low resolution images (as in prior work) but also on real-world images. (c) We improve upon the state-of-the-art in face super-resolution by proposing a new residual-based architecture. (d) Quantitatively, we show large improvement over the state-of-the-art for both face super-resolution and alignment. (e) Qualitatively, we show for the first time good results on real-world low resolution images.

研究の動機と目的

• 非常に低解像度で、あらゆる顔のアングルをとる実世界の顔に対して、画像品質を向上させるとともに、正確にランドマークを局所化する課題に取り組む。
• 合成データや正面で事前にアラインメントされた顔に依存する従来手法の限界を克服する。
• ランドマーク検出と画像再構築の共同最適化を通じて、顔の構造的情報を超解像に統合する。
• 超解像と顔のアラインメントの共同学習が、両タスクにおいて優れた性能をもたらすことを示す。

提案手法

• Super-FANは、低解像度顔画像を強化するため、残差アーキテクチャを用いたGANベースの超解像ネットワークを採用する。
• 専用のサブネットワークが、顔のランドマーク局所化のためのヒートマップ回帰を実行し、構造的監視を提供する。
• 予測されたランドマークヒートマップを用いて、超解像ネットワークをガイドする新規のヒートマップ損失を導入する。
• パーソナル損失、ピixeL単位のL1損失、および新規のヒートマップ損失の組み合わせを用いて、エンド・ツー・エンドでモデルを訓練する。
• データ増強には、ランダムなガウスノイズ、JPEGアーチファクト、色の歪みを含め、実世界の画像に対する耐性を高める。
• 超解像とランドマーク検出を共同で最適化することで、相互に性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 顔の超解像とランドマーク検出の共同学習は、任意のアングルの非常に低解像度の実世界の顔において性能を向上させることができるか？
• RQ2 ヒートマップ監視による顔の構造的情報の統合は、超解像品質とランドマークの正確性を向上させるか？
• RQ3 本手法は、合成データや正面顔のみで学習された最先端の手法と比較して、実世界のデータにおいてどのように性能を発揮するか？
• RQ4 標準的な損失関数と比較して、新規のヒートマップ損失は、アラインメントと画像再構築の両面でどの程度性能を向上させるか？
• RQ5 本モデルは、極端なアングル、遮蔽、強いブラーを伴う非制約環境において一般化可能か？

主な発見

• Super-FANは、アングルが60°を超える顔を対象としたLS3D-Wデータセットで67.0%のAUCを達成し、従来手法を顕著に上回った。
• 実世界のWiderFace画像において、SR-GAN や CBN と比較して、特に困難な条件下でも、より鮮鋭で詳細な結果を生成した。
• ヒートマップ損失の追加により、ピクセル損失と特徴量損失のみを用いたベースラインと比較して、ランドマーク検出のAUCが5.5ポイント向上した。
• 人工的にダウンサンプリングされた画像で学習しても、データ増強を施した後、再訓練されたFANモデルやバイリニアベースラインと比較して、実世界データにおいて優れた性能を示した。
• アングルが60°を超える顔を対象としたLS3D-Wデータセットでは、20.85のPSNRを記録し、アングルの変動にもかかわらず強力な性能を示した。
• 失敗事例は主に極端なアングル、遮蔽、強いブラーに起因しており、このような歪みに対する耐性向上の余地があることが示唆された。