[論文レビュー] To Frontalize or Not To Frontalize: A Study of Face Pre-Processing Techniques and Their Impact on Recognition

Sandipan Banerjee, Joel Brogan+6 more|arXiv (Cornell University)|Oct 16, 2016

Face recognition and analysis参考文献 26被引用数 1

ひとこと要約

本稿では、特に正面化処理を含む顔の事前処理技術が、ディープラーニングベースの顔認識に与える影響を評価している。本稿では、既存の手法を上回る性能を示す新しい単一画像正面化手法を提案しており、畳み込みニューラルネットワーク（CNN）を用いた際、PaSCおよびMulti-PIEデータセットにおいて、ポーズ正規化のための事前処理が顔認識の正確性を顕著に向上させることを示している。

ABSTRACT

Face recognition performance has improved remarkably in the last decade. Much of this success can be attributed to the development of deep learning techniques such as convolutional neural networks (CNNs). While CNNs have pushed the state-of-the-art forward, their training process requires a large amount of clean and correctly labelled training data. If a CNN is intended to tolerate facial pose, then we face an important question: should this training data be diverse in its pose distribution, or should face images be normalized to a single pose in a pre-processing step? To address this question, we evaluate a number of popular facial landmarking and pose correction algorithms to understand their effect on facial recognition performance. Additionally, we introduce a new, automatic, single-image frontalization scheme that exceeds the performance of current algorithms. CNNs trained using sets of different pre-processing methods are used to extract features from the Point and Shoot Challenge (PaSC) and CMU Multi-PIE datasets. We assert that the subsequent verification and recognition performance serves to quantify the effectiveness of each pose correction scheme.

研究の動機と目的

• 顔認識モデルの性能向上に寄与するかどうかを調査すること。
• 顔のランドマーク検出およびポーズ補正アルゴリズムの認識正確性への影響を評価すること。
• 現在の最先端技術を上回る性能を示す、新しい自動的な単一画像正面化手法を開発・検証すること。
• ベンチマークデータセットを用いた特徴抽出および認証性能を比較することで、さまざまな事前処理戦略の有効性を定量化すること。

提案手法

• 著者らは、CNN特徴抽出の前段階で、顔のランドマーク検出およびポーズ補正アルゴリズムを複数適用し、顔画像を正面ポーズに正規化している。
• 本稿では、深層学習を活用して、制約のない単一画像から正面ビューを合成する新しい単一画像正面化手法を導入している。
• CNNは、さまざまな正面化手法（本稿で提案する手法も含む）を用いて事前処理されたデータセットで学習させ、判別性の高い特徴を抽出している。
• 性能評価は、Point and Shoot Challenge（PaSC）およびCMU Multi-PIEデータセットを用いて実施され、認証および認識正確性に注目している。
• 各事前処理手法の有効性は、さまざまなポーズ状態における認識性能の比較によって定量化されている。

実験結果

リサーチクエスチョン

• RQ1 顔画像を正面ポーズに事前処理することで、ディープラーニングモデルの認識性能が向上するか？
• RQ2 既存の顔ランドマーク検出およびポーズ補正アルゴリズムは、認識正確性に及ぼす影響において、どのように比較されるか？
• RQ3 新しい単一画像正面化手法は、既存の最先端技術を上回る性能を示せるか？
• RQ4 CNNベースの顔認識において、ポーズ正規化と多様なポーズを持つ学習データの両者、それぞれの寄与度はどのように比較されるか？

主な発見

• 提案された単一画像正面化手法は、認識正確性の観点から、既存のアルゴリズムを上回る優れた性能を達成している。
• 正面化による事前処理は、PaSCおよびMulti-PIEといった制約のないデータセットにおいて、顔認識の正確性を顕著に向上させている。
• 事前処理によるポーズ正規化は、特に大きなポーズ変動が生じる状況下でも、より頑健な特徴表現を実現している。
• 本研究では、事前処理された正面画像で学習させることで、元の制約のないポーズで学習させた場合よりも優れた認証性能が得られることを示している。