[論文レビュー] Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation

Cheng Ma, Zhenyu Jiang+3 more|arXiv (Cornell University)|Mar 29, 2020

Advanced Image Processing Techniques参考文献 42被引用数 15

ひとこと要約

本稿では、2つの再帰的ブランチを用いて、交互に高分解能顔画像と顔の特徴点推定を精緻化する深層反復的協調ネットワークを提案する。アテンション統合モジュールを活用してコンポonent特徴抽出をガイドすることで、CelebAおよびHelenデータセットにおいて最先端の性能を達成し、PSNRは27.37、SSIMは0.7962に向上した。

ABSTRACT

Recent works based on deep learning and facial priors have succeeded in super-resolving severely degraded facial images. However, the prior knowledge is not fully exploited in existing methods, since facial priors such as landmark and component maps are always estimated by low-resolution or coarsely super-resolved images, which may be inaccurate and thus affect the recovery performance. In this paper, we propose a deep face super-resolution (FSR) method with iterative collaboration between two recurrent networks which focus on facial image recovery and landmark estimation respectively. In each recurrent step, the recovery branch utilizes the prior knowledge of landmarks to yield higher-quality images which facilitate more accurate landmark estimation in turn. Therefore, the iterative information interaction between two processes boosts the performance of each other progressively. Moreover, a new attentive fusion module is designed to strengthen the guidance of landmark maps, where facial components are generated individually and aggregated attentively for better restoration. Quantitative and qualitative experimental results show the proposed method significantly outperforms state-of-the-art FSR methods in recovering high-quality face images.

研究の動機と目的

• 既存の顔画像スーパーレゾリューション手法における不正確な顔の事前知識の制限を是正すること。これは、しばしば低品質または粗い入力から得られるためである。
• 特徴量と特徴点マップを単純に連結する多タスク学習フレームワークにおける、間接的で弱い事前知識のガイドの欠如を克服すること。
• 画像回復と特徴点推定の間で双方向の反復的精緻化を可能にすることで、スーパーレゾolution顔画像の品質を向上させること。
• 顔の構造をよりよく捉え、高分解能出力における詳細回復を強化するため、コンポーネント特化型のアテンションメカニズムを設計すること。

提案手法

• 画像回復用と顔の特徴点推定用の2つのブランチを持つ再帰的アーキテクチャを導入し、反復的協調を可能にする。
• 特徴点推定に再帰的アワークラスネットワークを用い、より正確な画像入力を段階的に得ることで、特徴点位置を段階的に精緻化する。
• 推定された特徴点を用いて、各顔の部品（目、鼻、口）ごとに別々のアテンションマップを生成する、新規のアテンション統合モジュールを採用する。
• コンポーネント特化型のアテンションマップを用いてグループ畳み込みを実行し、個々の顔の部位に特化した特徴抽出と集約を実現する。
• コンポーネント特化型特徴を学習されたアテンション重みを用いて統合し、回復ブランチにおける高精細な画像再構築をガイドする。
• 各イテレーションで、両ブランチの前回出力を次回のステップの入力として使用するフィードバックループを実装し、段階的精緻化を実現する。

実験結果

リサーチクエスチョン

• RQ1 画像回復と特徴点推定の反復的協調は、スーパーレゾリューション顔画像の品質向上に寄与するか？
• RQ2 高品質で正確な特徴点推定を事前知識として用いることで、低分解能または粗い事前知識を用いる場合よりも画像回復が向上するか？
• RQ3 顔の部品を個別に扱うアテンション統合機構は、特徴点マップを単純に連結する手法よりも、スーパーレゾリューションのガイドとして優れているか？
• RQ4 PSNR、SSIM、視覚的整合性の観点から、本手法は最先端の顔画像スーパーレゾリューション手法と比較してどのように優れているか？

主な発見

• 本手法はCelebAデータセットにおいてPSNR 27.37、SSIM 0.7962を達成し、ベースラインのDIC-NL（PSNR 26.31）およびDIC-CL（PSNR 26.93）モデルを顕著に上回った。
• 視覚的結果から、イテレーションを経るごとに画像品質と特徴点の正確性が段階的に向上しており、SR出力がより写真的で幾何学的に妥当な形状に近づいていることが示された。
• アブレーションスタディの結果、特徴点ガイドを除去した場合（DIC-NL）は性能が著しく低下し、特徴点を連結する手法（DIC-CL）ですら部分的な改善に留まるため、本手法のアテンション統合の優位性が裏付けられた。
• アテンション統合モジュールにより、個々の顔の部位（目、鼻、口）に対する特徴抽出が特化可能であることが、可視化結果から明らかになった。特にアテンションマップを部分的に適用した場合、各部位が高精度に再構築されている。
• 複数のイテレーションにわたり一貫した性能向上が得られており、表3および図5から、3イテレーションが品質と計算コストのバランスにおいて最適な妥協点であると示された。
• 本手法はCelebAおよびHelenの2つのベンチマークデータセットにおいて、多様な顔画像に対して高い汎化能力を示し、ロバストで効果的であることが確認された。