[論文レビュー] Deep multi-frame face super-resolution

Evgeniya Ustinova, Victor Lempitsky|arXiv (Cornell University)|Sep 10, 2017

Advanced Image Processing Techniques参考文献 10被引用数 7

ひとこと要約

本稿では、連続するフレームを用いて顔のアライメント、超解像、認識を統合的に最適化するエンドツーエンドの深層ニューラルネットワークを提案する。顔のワープサブネットワークを導入してサブピクセルレベルの動きを処理し、認識に配慮した損失関数を活用することで、YouTube Facesデータセットにおいて25フレームとワープを用いた場合に100%-EERが85.20%に達し、単一フレームベースラインや先行研究を著しく上回る顔認識性能を達成した。

ABSTRACT

Face verification and recognition problems have seen rapid progress in recent years, however recognition from small size images remains a challenging task that is inherently intertwined with the task of face super-resolution. Tackling this problem using multiple frames is an attractive idea, yet requires solving the alignment problem that is also challenging for low-resolution faces. Here we present a holistic system for multi-frame recognition, alignment, and superresolution of faces. Our neural network architecture restores the central frame of each input sequence additionally taking into account a number of adjacent frames and making use of sub-pixel movements. We present our results using the popular dataset for video face recognition (YouTube Faces). We show a notable improvement of identification score compared to several baselines including the one based on single-image super-resolution.

研究の動機と目的

• 低解像度顔認識の課題に応えるために、統合的な深層学習フレームワーク内で超解像、アライメント、認識を同時に最適化すること。
• 単一画像超解像の限界を克服し、顔の幻覚現象や個人固有の特徴の喪失を防ぐこと。
• 複数の動画フレームからの時間的情報を活用し、正確なサブピクセルアライメントを実現することで、低解像度顔の認識精度を向上させること。
• 顔のワープと認識に配慮した損失関数を統合することで、超解像過程でも個人固有の特徴を保持する包括的システムの構築。
• 適切なアライメントを伴うマルチフレーム超解像が、YouTube Facesベンチマークにおいて単一フレームアプローチや既存のSOTA手法を著しく上回ることを実証すること。

提案手法

• 25フレームのフレーム系列を処理する深層ニューラルネットワークアーキテクチャを提案し、中央フレームを超解像のターゲットとする。
• 隣接フレーム間のペアワイズかつ並列的なアライメントをサブピクセル精度の光流推定を用いて行う顔ワープサブネットワークを導入する。
• すべてのフレームから特徴を抽出する共有の特徴抽出バックボーン（VGGに類似）を用い、その後にワープされた特徴の集約を実施して再構成を行う。
• 複数フレームからのワープ済み特徴を統合する再構成モジュールを採用し、最終的な高解像度出力を生成する。
• 顔認識に配慮した損失関数を含むマルチコンponent損失関数を用いて、顔の識別に特化した詳細を保持するように、エンドツーエンドでネットワークを訓練する。
• データオーグメンテーションと前処理として顔検出器を用い、入力フレームを切り取り・アライメントすることで、一貫性のある入力品質を確保する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク内で超解像、アライメント、認識を統合的に最適化することで、個別に最適化する手法と比較して、低解像度入力における顔認識性能が向上するか？
• RQ2 サブピクセル精度のアライメントを伴う複数フレームの統合が、単一フレーム手法と比較して超解像品質と認識精度を顕著に向上させるか？
• RQ3 非剛性な動きをモデル化する顔ワープモジュールが、再構成の忠実性と個人識別性の保持にどの程度寄与するか？
• RQ4 視覚的品質と認識性能の両面で、本手法は既存のSOTA単一画像超解像技術を上回るか？
• RQ5 認識精度の向上が、深層特徴類似度（例：fc7層でのL2距離）で測定される個人固有特徴の良好な保持に起因するか？

主な発見

• 25フレームと顔ワープを用いた本手法（f25 warp）は、YouTube Facesデータセットで100%-EERが85.20%に達し、単一フレームベースライン（f1）の82.40%を著しく上回った。
• 顔ワープモジュールの導入により認識性能に顕著な向上が見られ、f25 warp（85.20% EER）はワープなしのf25（83.60% EER）を上回った。
• ユーザースタディの結果、参加者はf25 warpモデルの出力画像をf25およびf1よりも一貫して好む傾向にあり、優れた視覚的品質と顔の類似性を示した。
• 再構成タスクではPSNRが29.12 dBを達成し、fc7層でのL2特徴距離が0.3695に留まり、顔の識別に重要な特徴の強力な保持を示した。
• 同等の評価条件下で、SOTA単一画像超解像手法[21]（82.32%）と比較して、本手法はより高い100%-EER（85.14%）を達成した。
• アブレーションスタディにより、アライメントなしでより多くのフレーム（f25）を用いても、単一フレーム超解像（f1）と同等の性能に留まり、性能向上にはワープモジュールの必要性が明確になった。