[論文レビュー] Deep Cascaded Bi-Network for Face Hallucination

Shizhan Zhu, Sifei Liu+2 more|arXiv (Cornell University)|Jul 18, 2016

Advanced Image Processing Techniques参考文献 55被引用数 46

ひとこと要約

本稿では、顔の顕微鏡的再構築（5px間隔の目の距離）を対象として、交互に高分解能化と密な対応フィールドの精錬を行う深層級連バイネット（CBN）を提案する。空間的事前知識で制御されるゲート付き深層バイネットを用いることで、共通ブランチと高周波数ブランチを別々に処理し、高速な推論（1枚あたり3.84秒）で最先端の性能を達成。ポーズや照明の変化がある屋外の低分解能顔に対しても、品質と速度の両面で従来手法を大きく上回る。

ABSTRACT

We present a novel framework for hallucinating faces of unconstrained poses and with very low resolution (face size as small as 5pxIOD). In contrast to existing studies that mostly ignore or assume pre-aligned face spatial configuration (e.g. facial landmarks localization or dense correspondence field), we alternatingly optimize two complementary tasks, namely face hallucination and dense correspondence field estimation, in a unified framework. In addition, we propose a new gated deep bi-network that contains two functionality-specialized branches to recover different levels of texture details. Extensive experiments demonstrate that such formulation allows exceptional hallucination quality on in-the-wild low-res faces with significant pose and illumination variations.

研究の動機と目的

• 極めて低分解能な入力（5px間隔の目の距離）で、制約のないポーズや照明条件下における顔の顕微鏡的再構築の課題に取り組む。
• 顔の顕微鏡的再構築における「鶏と卵」問題を克服する。高品質な再構築には正確な空間的事前知識（例：密な対応フィールド）が必要だが、低分解能入力からはその推定が困難である。
• 顔の顕微鏡的再構築と密な対応フィールド推定を統合的かつ交互に精錬するフレームワークを構築し、両タスクが互いに向上するようにする。
• 空間的事前知識を用いて、共通のテクスチャディテールと高周波数の顔構造を別々に処理するゲート付き深層バイネットアーキテクチャを開発し、より正確で現実的な顕微鏡的再構築を実現する。
• エクemplarベースや非パrametric要因を含まない、エンド・ツー・エンドの高速推論フレームワークを実現し、低分解能監視映像やモバイルデータにおけるリアルタイム応用を可能にする。

提案手法

• 顔の顕微鏡的再構築と密な対応フィールド推定を相互に精錬する、級連的かつ交互に最適化するフレームワークを提案。
• 2つの特化したブランチを持つゲート付き深層バイネットを導入：低分解能入力からの保守的なテクスチャ回復を目的とする共通ブランチ、およびワープされた密な対応フィールドを活用して未観測の顔のディテールを合成する高周波数ブランチ。
• ピクセル単位のゲートネットワークをエンド・ツー・エンドで学習し、共通ブランチからの信頼性の高い特徴を優先するとともに、適切な場所で高周波数ディテールを統合可能にする。
• エクステンプル検索や非パラメトリック操作を回避するパラメトリックで判別的モデル構造を採用し、高速な推論（1枚あたり3.84秒）を実現。
• 級連段階を通じて、低分解能入力から始まり、解像度が向上するに従い密な対応フィールドを段階的に精錬。反復処理により空間的精度が向上。
• 視覚的リアルリズムと構造的忠実度を向上させるために、知覚損失と adversarial 損失を用いてエンド・ツー・エンドで全フレームワークを訓練。

実験結果

リサーチクエスチョン

• RQ1 交互に密な対応フィールドと顔の顕微鏡的再構築を精錬する統合的フレームワークは、超低分解能の屋外顔に対して優れた性能を達成できるか？
• RQ2 特化したブランチを持つゲート付きバイネットアーキテクチャは、極端な解像度制限下でも共通および高周波数の顔ディテールを効果的に回復できるか？
• RQ3 密な対応フィールドを段階的に精錬することで、単一段階または固定事前知識アプローチと比較して、顕微鏡的再構築の品質がどの程度向上するか？
• RQ4 顕微鏡的再構築が意味を持つための入力顔解像度の下限（目の間隔距離）はどの程度か？
• RQ5 エクステンプルベースでない純粋な判別的深層学習フレームワークは、顕微鏡的再構築において高品質かつ高速な推論を達成でき、従来手法を上回る性能を示せるか？

主な発見

• 提案された CBN フレームワークは顔の顕微鏡的再構築において最先端の性能を達成し、特に超低分解能入力（5pxIOD）において、PSNR と視覚的品質の両面で従来手法を顕著に上回る。
• アブレーションスタディにより、ゲート付きバイネット、段階的対応フィールド精錬、および級連的交互最適化の各要素が不可欠であることが確認され、いずれかを除去すると性能が著しく低下する。
• 1枚あたりたったの3.84秒という高速な推論時間を達成しており、これに対して従来手法（例：[6] では15〜20分、[8] では1分）は著しく遅い。
• 5pxIOD未満（例：3pxIOD）の入力解像度では、情報量不足と対応フィールド推定の不正確さにより、現実的でない結果が得られ、5pxIODが実用的な下限であると示唆される。
• 高周波数ブランチにより、眼鏡に隠された部分（例：目）の合成が可能であるが、ゲートネットワークが過剰に依存する場合があり、失敗事例では過剰合成やゴースト現象が発生する。
• 視覚的結果から、5pxIODでも顔の同一性と構造が保持され、現実的なテクスチャディテールと妥当な視線方向が再現されており、バイキュービック補間やベースラインモデルを上回る性能を示す。