[論文レビュー] Hallucinating very low-resolution and obscured face images

Lianping Yang, Bin Shao+3 more|arXiv (Cornell University)|Nov 12, 2018

Advanced Image Processing Techniques参考文献 26被引用数 4

ひとこと要約

本論文は、16×16ピクセルという極めて低解像度で重度に遮蔽された入力（8倍拡大）から高解像度（HR）顔画像を起案するための新しい深層学習フレームワーク、OFHNetを提案する。この手法は二段階のアプローチを採用する：まず、エンコーダ・デコーダ型のインpaintingネットワークが低解像度画像の欠落領域を復元し、その後、敵対的損失、顔の特徴点に基づく意味的構造損失（固定された顔の特徴点を用いて）、およびL2損失を組み合わせた強化された超解像度アップサンプリングネットワークが適用され、困難な遮蔽入力において最先端の知覚的品質と構造的忠実度を達成する。

ABSTRACT

Most of the face hallucination methods are designed for complete inputs. They will not work well if the inputs are very tiny or contaminated by large occlusion. Inspired by this fact, we propose an obscured face hallucination network(OFHNet). The OFHNet consists of four parts: an inpainting network, an upsampling network, a discriminative network, and a fixed facial landmark detection network. The inpainting network restores the low-resolution(LR) obscured face images. The following upsampling network is to upsample the output of inpainting network. In order to ensure the generated high-resolution(HR) face images more photo-realistic, we utilize the discriminative network and the facial landmark detection network to better the result of upsampling network. In addition, we present a semantic structure loss, which makes the generated HR face images more pleasing. Extensive experiments show that our framework can restore the appealing HR face images from 1/4 missing area LR face images with a challenging scaling factor of 8x.

研究の動機と目的

• 16×16ピクセルという極めて低解像度で重度に遮蔽された入力（8倍拡大）から高解像度顔画像を起案する課題に対処すること。
• 不完全または極めて小さな入力に対して失敗する既存の顔起案手法の限界を克服すること。
• 顔の特徴点事前知識を意味的正則化損失として組み込むことで、生成されたHR顔画像の知覚的品質と構造的忠実度を向上させること。
• まず低解像度画像の欠落領域を復元し、その後に超解像度処理を行う二段階フレームワークを構築することで、再構成の難易度を低減すること。

提案手法

• 低解像度で遮蔽された顔画像の欠落領域を復元するために、エンコーダ・デコーダ型のインpaintingネットワークを用い、既知領域と復元領域の間で意味的整合性を保証する。
• 別個のアップサンプリングネットワークが、インpainting処理済みの低解像度画像に対して8倍の超解像度処理を実行し、L2損失、敵対的損失、および固定された顔の特徴点検出に基づく新しい意味的構造損失を組み合わせる。
• 意味的構造損失は、事前に固定された特徴点検出ネットワークから得られ、顔の幾何学的形状を維持し、視覚的リアリズムを向上させるための監視を提供する。
• アップサンプリングネットワークに対して敵対的訓練を適用し、生成されたHR画像と実際のHR画像を区別することで、写真的リアリズムを向上させる。
• 全体の最適化は、ピxlsレベルの再構成を目的とするL2損失、リアリズムを向上させる敵対的損失、顔のレイアウト忠実度を保証する意味的構造損失の3つを組み合わせたマルチ損失目的関数により、エンド・ツー・エンドで行う。
• 全体のアーキテクチャは、エンコーダ・デコーダ・デコーダのフレームワークである：最初のデコーダがインpaintingネットワーク、2番目のデコーダがアップサンプリングネットワークであり、特徴抽出用に共有されたエンコーダを有する。

実験結果

リサーチクエスチョン

• RQ1 16×16ピクセルの入力に1/4面積の遮蔽と8倍拡大を伴う状況において、深層学習フレームワークが高解像度顔画像を効果的に復元できるか？
• RQ2 顔の特徴点事前知識を意味的構造損失として組み込むことで、起案された顔画像の知覚的品質と構造的正確性はどのように向上するか？
• RQ3 まず低解像度画像をインpaintingし、その後に超解像度処理を行う二段階アプローチは、遮蔽された入力に対して直接的な超解像度処理よりも優れた結果をもたらすか？
• RQ4 L2損失、敵対的損失、意味的構造損失の組み合わせが、標準的な損失関数に比べて、よりリアルで構造的に正確なHR顔画像の生成にどの程度優れているか？

主な発見

• OFHNetはベンチマークデータセットでPSNR 20.44 dB、SSIM 0.63を達成し、URDGNをPSNRで0.44 dB、SSIMで10.5%上回る。
• 意味的構造損失の導入により、視覚的品質が顕著に向上し、OFHNetがL2損失のみのベースラインに比べてよりリアルで詳細な顔の特徴を生成することが、定性的な比較で示された。
• OFHNetは、URDGN（NRMSE: 13.61、IoU: 0.40）に比べ、顔のアライメントおよびパースングタスクでNRMSE（5.33）が低く、IoU（0.60）が高い結果を示し、幾何学的忠実度が優れていることを示している。
• ランダムな遮蔽パターン（左上、右上、左下、右下）に対しても、一貫して妥当で整合性のあるHR顔再構成を生成するため、汎用性が優れている。
• 遮蔽サイズが4×4ピクセルから8×8ピクセルに増加するにつれて、PSNRは単調に低下する傾向を示し、再構成難易度の上昇に対しても本手法のロバスト性が確認された。
• アブレーションスタディの結果、意味的構造損失が視覚的品質向上に不可欠であることが確認され、L2損失のみ、または敵対的損失のみの条件に比べて顕著な改善が得られた。