[論文レビュー] Deep Semantic Face Deblurring

Ziyi Shen, Wei‐Sheng Lai+3 more|arXiv (Cornell University)|Mar 9, 2018

Advanced Image Processing Techniques参考文献 46被引用数 11

ひとこと要約

本稿では、顔のセマンティックな事前知識と局所的な構造的制約を活用して高精細な顔の細部を復元する、深層畳み込みニューラルネットワークを提案する。エンドツーエンドのフレームワーク内でグローバルな顔パーツ分類ラベルとマルチスケール損失を統合することで、合成および実世界の曇った顔画像の両方において、復元品質、顔認識の正確性、推論速度の面で最先端の性能を達成し、先行研究を上回っている。

ABSTRACT

In this paper, we present an effective and efficient face deblurring algorithm by exploiting semantic cues via deep convolutional neural networks (CNNs). As face images are highly structured and share several key semantic components (e.g., eyes and mouths), the semantic information of a face provides a strong prior for restoration. As such, we propose to incorporate global semantic priors as input and impose local structure losses to regularize the output within a multi-scale deep CNN. We train the network with perceptual and adversarial losses to generate photo-realistic results and develop an incremental training strategy to handle random blur kernels in the wild. Quantitative and qualitative evaluations demonstrate that the proposed face deblurring algorithm restores sharp images with more facial details and performs favorably against state-of-the-art methods in terms of restoration quality, face recognition and execution speed.

研究の動機と目的

• 未知のぼかしカーネルと従来の事前知識に適した強力なテクスチャを欠いた顔画像における、単一画像顔のぼかし除去の課題に取り組むこと。
• 目、口、顔の輪郭といったセマンティックな手がかりを用いて、顔の極めて構造的な性質を活用し、復元品質を向上させること。
• 計算コストを低減し、モバイルやクラウドデバイスなどのリソース制約のあるプラットフォームでもリアルタイム推論を可能にすること。
• 復元出力にアイデンティティを保持する特徴を保存することで、顔認識性能を向上させること。
• 実世界のシナリオで見られる未知のぼかしカーネルの多様な分布にうまく一般化できるトレーニング戦略を開発すること。

提案手法

• 本手法は、曇った顔画像と予測されたセマンティックセグメンテーションマップを入力として用いるマルチスケールの深層CNNを採用し、グローバルなセマンティックな事前知識でぼかし除去をガイドする。
• 局所的な構造損失を、目、鼻、口といった重要な顔の部位に適用し、トレーニング中に微細なディテールを保持する。
• 実画像の特徴量と分布を一致させるために、知覚的損失と adversarial 損失を用いて、写真のような出力を生成する。
• 段階的トレーニング戦略を導入し、まず小さなぼかしカーネルでネットワークを訓練し、次第に大きなカーネルで微調整することで一般化性能を向上させる。
• 顔のパーツ分類は、事前学習済みの顔分類ネットワークを用いて実行され、セマンティックラベルが入力の監視として使用される。
• ぼかしカーネル推定や後処理を一切行わず、エンドツーエンドでネットワーク全体を訓練することで、高速な推論を実現している。

実験結果

リサーチクエスチョン

• RQ1 顔分類から得られるセマンティックな事前知識を用いることで、ピクセル単位の損失のみで訓練したベースラインと比較して、復元された顔画像の品質と忠実度が向上するか？
• RQ2 顔の部位に局所的な構造的制約を組み込むことで、顔の微細なディテールの回復にどのような影響を与えるか？
• RQ3 段階的トレーニング戦略は、実世界データにおける未知で変動するぼかしカーネルに起因する分布シフトを効果的に処理できるか？
• RQ4 顔認識の正確性と推論速度の面で、本手法は最先端のぼかし除去モデルをどの程度上回るか？
• RQ5 知覚的損失と adversarial 損失を用いることで、より自然で現実的であると感じられる復元顔出力が得られるか？

主な発見

• 実世界の曇った画像において、本手法は99%の顔検出成功率を達成し、Nah et al. (90%) や Pan et al. (82%) といった先行手法を大きく上回っている。
• CelebA データセットにおけるトップ1顔認識正確度は54%であり、比較対象のすべての手法の中で最高水準であり、優れたアイデンティティ保持性能を示している。
• GPU上での128×128画像あたりの推論時間は0.05秒であり、他のすべての評価対象手法、特に次に速い0.09秒の手法を上回る速さを達成している。
• セマンティックな事前知識と局所的構造損失を組み込むことで、セマンティクスなしのベースラインと比較して、FaceNet埋め込みにおけるアイデンティティ距離が20%低下し、より良いアイデンティティの一貫性が示された。
• Lai et al. の実世界の曇ったデータセットにおいて、視覚的比較の結果、本手法は最先端のアプローチと比較して、よりシャープな顔のディテールとより少ないアーティファクトを生成している。
• 段階的トレーニング戦略により収束性と一般化性能が向上し、完全なデータオーグメンテーションを必要とせずに、広範なぼかしカーネルサイズの範囲をカバーできるようになった。