[論文レビュー] Learning to Hallucinate Face Images via Component Generation and Enhancement

Yibing Song, Jiawei Zhang+3 more|arXiv (Cornell University)|Aug 1, 2017

Advanced Image Processing Techniques参考文献 16被引用数 21

ひとこと要約

本稿では、コンponent生成と強化を経て顔画像をホラシケーションするための2段階手法、Learning to Hallucinate Face Images via Component Generation and Enhancement (LCGE) を提案する。まず、畳み込みニューラルネットワーク（CNN）を用いて深層の顔部品を生成することで特徴マッチングを向上させ、次にK-NN探索とエッジに配慮したフィルタリングを用いて高分解能訓練画像からの微細な詳細を転送することで強化を行う。本手法は、定量的指標および視覚的品質の両面で最先端の性能を達成しており、特に高倍率アップスケーリング条件下でも優れた性能を示す。

ABSTRACT

We propose a two-stage method for face hallucination. First, we generate facial components of the input image using CNNs. These components represent the basic facial structures. Second, we synthesize fine-grained facial structures from high resolution training images. The details of these structures are transferred into facial components for enhancement. Therefore, we generate facial components to approximate ground truth global appearance in the first stage and enhance them through recovering details in the second stage. The experiments demonstrate that our method performs favorably against state-of-the-art methods

研究の動機と目的

• 顔ホラシケーションにおける正確な詳細転送を妨げる低分解能顔画像における特徴マッチングの悪さという課題に対処すること。
• 顔のドメイン固有の特性に起因する、エンドツーエンドのCNNが顔部品の詳細を保持できないという限界を克服すること。
• 2段階フレームワークを用いてグローバルな外観モデリングとローカルな詳細強化を分離することで、ホラシケーション品質を向上させること。
• 従来手法が対応できないほど顕著な不一致を引き起こす高倍率アップスケーリング（例：10×）においても、頑健な性能を発揮できること。

提案手法

• 入力された低分解能顔画像を、目、眉、鼻、口、残りの領域の5つの顔部品に分割し、それぞれに専用のCNNを適用して深層部品を生成する。
• 各顔部品を個別にCNNを用いてアップサンプリングすることで、テクスチャを豊かにし、高分解能訓練画像とのマッチングを向上させる。
• 高分解能訓練画像から、パッチ単位のK-NN探索を用いて微細な顔構造を抽出し、入力部品ごとに最も類似した部品を特定する。
• マッチングされた高分解能部品からの詳細を、エッジに配慮した画像フィルタリングを用いて生成部品に転送することで、構造的整合性を保持する。
• 顔のアライメントを明示的に行わないことで、深層部品表現が自然に対応精度を向上させることを実現する。
• 最終的な出力は、強化された部品を統合することで合成され、グローバルな外観の一貫性と高周波成分の回復の両方を確保する。

実験結果

リサーチクエスチョン

• RQ1 深層顔部品の生成は、顔ホラシケーションにおける低分解能入力と高分解能訓練画像間の特徴マッチング精度を向上させることができるか？
• RQ2 グローバル外観再構築とローカル詳細強化を分離することで、エンドツーエンドのCNNよりも優れたホラシケーション品質が得られるか？
• RQ3 従来手法が失敗するような極端なアップスケーリング要因（例：10×）下でも、本手法はどの程度の性能を示すか？
• RQ4 深層部品におけるK-NNベースのパッチマッチングは、ハンドクラフトされた特徴マッチングを上回る詳細転送性能を発揮するか？
• RQ5 エッジに配慮したフィルタリングは、微細な詳細強化の際、顔の構造をどの程度保持できるか？

主な発見

• 提案手法LCGEは、4×アップスケーリング条件下でMulti-PIEデータセットにおいてPSNR 38.04、SSIM 0.95を達成し、すべてのベースラインを上回る性能を示した。
• 10×アップスケーリング条件下でも、LCGEはPSNR 32.43、SSIM 0.79を達成し、SISR、SRCNN、SFHがブラーとアーチファクトにより失敗する状況でも頑健な性能を示した。
• LCGEは、目や鼻などの顔部品における形状歪み、照明の不一致、ゴーストアーチファクトを著しく低減した。これは、SFH や SRResNet でよく見られる問題である。
• 目や口のような高周波成分領域における詳細回復が顕著に向上しており、正解画像との定性的比較で裏付けられた。
• 2段階設計により、顔のグローバルな構造とローカルなテクスチャの両方の保存が可能となり、より高い数値スコアとより現実的な出力が得られた。
• アブレーションスタディの結果、部品生成と詳細強化の両方が不可欠であることが確認され、いずれかの段階を削除すると性能が著しく低下した。