[論文レビュー] Global-Local Face Upsampling Network

Oncel Tuzel, Yuichi Taguchi+1 more|arXiv (Cornell University)|Mar 23, 2016

Advanced Image Processing Techniques参考文献 39被引用数 21

ひとこと要約

本稿では、極めて低解像度の入力（例：10×12ピクセル）から高品質な顔領域の超解像化を実現する、深層学習に基づくグローバルローカル顔アップサンプリングネットワークを提案する。再構成損失と知覚的品質のための adversarial 損失を組み合わせることで、制御された環境および制御されていない環境の両方で最先端の結果を達成し、従来手法に比べて視覚的忠実度と詳細回復性能が顕著に向上した。

ABSTRACT

Face hallucination, which is the task of generating a high-resolution face image from a low-resolution input image, is a well-studied problem that is useful in widespread application areas. Face hallucination is particularly challenging when the input face resolution is very low (e.g., 10 x 12 pixels) and/or the image is captured in an uncontrolled setting with large pose and illumination variations. In this paper, we revisit the algorithm introduced in [1] and present a deep interpretation of this framework that achieves state-of-the-art under such challenging scenarios. In our deep network architecture the global and local constraints that define a face can be efficiently modeled and learned end-to-end using training data. Conceptually our network design can be partitioned into two sub-networks: the first one implements the holistic face reconstruction according to global constraints, and the second one enhances face-specific details and enforces local patch statistics. We optimize the deep network using a new loss function for super-resolution that combines reconstruction error with a learned face quality measure in adversarial setting, producing improved visual results. We conduct extensive experiments in both controlled and uncontrolled setups and show that our algorithm improves the state of the art both numerically and visually.

研究の動機と目的

• 極めて低解像度および制御されていない条件（例：大きなポーズ、照明変化）における顔のハリオグラフィーの課題に対処すること。
• 従来の2段階手法の限界（線形エイゴフェースモデルへの依存、計算コストの高いパッチ探索）を克服すること。
• グローバル顔の制約とローカルパッチ統計を同時に最適化するエンド・ツー・エンドで学習可能な深層ネットワークを構築すること。
• PSNR/SSIMを越えて視覚的品質を向上させるために、知覚的リアリズムを学習した adversarial 損失を組み込むこと。

提案手法

• ネットワークは2つのサブネットワークから構成される：1つは顔の全体像再構成のためのグローバル制約（例：対称性、ポーズ）に基づくもので、もう1つはパッチレベルの統計を用いたローカルディテールの強化のためのもの。
• グローバル制約は、トレーニングデータから高レベルの顔の構造を学習する深層エンコーダデコーダアーキテクチャによってモデル化される。
• ローカルディテールは、高解像度顔パッチとの統計的一致性を強制するリファインメントサブネットワークによって強化される。
• モデルは、平均二乗再構成誤差と、顔の品質を評価するディスクラミネータネットワークからの adversarial 損失を組み合わせたハイブリッド損失を用いて学習される。
• adversarial 損失は重み係数 λ を用いて最適化され、忠実度と知覚的リアリズムのバランスがとられ、アーチファクトが低減されながらシャープネスが向上する。
• カラーのアップサンプリングは、輝度（Y）チャンネルを処理し、バイキュービックアップサンプリングされた彩度（u, v）チャンネルと融合することで実行される。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの深層ネットワークが、グローバル顔構造とローカルテクスチャディテールを同時にモデル化することで、低解像度および制御されていない環境下での顔ハリオグラフィーをどのように改善できるか？
• RQ2 再構成損失と adversarial 損失を組み合わせることで、スーパーレゾリューションにおける視覚的品質と知覚的リアリズムにどのような影響を与えるか？
• RQ3 定量的指標と視覚的忠実度の観点から、提案手法は従来の最先端手法をどの程度上回るか？
• RQ4 adversarial 損失の重み付けにどれほど感度があり、PSNR と知覚的品質の間にはどのようなトレードオフが存在するか？
• RQ5 極端なポーズ、表情、または遮蔽の変化下で、この手法の失敗モードはどのようなものか？

主な発見

• 提案されたグローバルローカルネットワーク（GLN）は、FRGC において 8× アップサンプリングで 30.34 dB の PSNR と 0.884 の SSIM を達成し、両指標で従来手法を上回った。
• adversarial ファインチューニングにより視覚的品質が顕著に向上し、よりシャープで詳細豊かな画像が得られたが、8× アップサンプリングで PSNR はわずかに 0.25 dB 減少した。
• 8× アップサンプリングで λ=8×10³ を使用した GLN は、顔の特徴が強化された最もシャープな結果を生成したが、一部に高周波数アーチファクトが観察された。
• GLN-Only および LN-Only のアブレーション変種の結果から、グローバルおよびローカルモジュールの両方が不可欠であることが示され、GLN8 が最良の性能を示した。
• 失敗事例は主に大きなポーズ、表情の変化、または遮蔽の状況で発生し、ネットワークが正確な顔の幾何学的形状を再構築できなかった。
• カラーのアップサンプリング結果（図9–10）は、YUV カラースペースに適用した場合に知覚的品質が保持されることを確認しており、現実的な肌色とテクスチャが得られた。