[論文レビュー] Face Hallucination via Split-Attention in Split-Attention Network

Tao Lu, Yuanzhi Wang+5 more|arXiv (Cornell University)|Oct 22, 2020

Facial Nerve Paralysis Treatment and Research被引用数 5

ひとこと要約

本稿では、顔の高分解能化のためのスプリット・アテンション・ネットワーク（SISN）を提案する。外部・内部スプリット・アテンショングループ（ESAG）を用いて、顔の構造とテクスチャ特徴を別々に処理し、融合することで、顔の構造的一致性とテクスチャの詳細忠実度を向上させる。本手法は顔の高分解能化において最先端の性能を達成し、下流の顔認識精度を顕著に向上させる。

ABSTRACT

Recently, convolutional neural networks (CNNs) have been widely employed to promote the face hallucination due to the ability to predict high-frequency details from a large number of samples. However, most of them fail to take into account the overall facial profile and fine texture details simultaneously, resulting in reduced naturalness and fidelity of the reconstructed face, and further impairing the performance of downstream tasks (e.g., face detection, facial recognition). To tackle this issue, we propose a novel external-internal split attention group (ESAG), which encompasses two paths responsible for facial structure information and facial texture details, respectively. By fusing the features from these two paths, the consistency of facial structure and the fidelity of facial details are strengthened at the same time. Then, we propose a split-attention in split-attention network (SISN) to reconstruct photorealistic high-resolution facial images by cascading several ESAGs. Experimental results on face hallucination and face recognition unveil that the proposed method not only significantly improves the clarity of hallucinated faces, but also encourages the subsequent face recognition performance substantially. Codes have been released at https://github.com/mdswyz/SISN-Face-Hallucination.

研究の動機と目的

• 既存のCNNベースの顔の高分解能化手法が、顔の構造的一致性と高周波数テクスチャの詳細忠実度を同時に保持できないという限界に対処する。
• 追加の事前情報（例：ランドマーク、パースリングマップ）に依存する形状指向の手法の欠点を克服する。これによりモデルの複雑さが増し、誤りを引き起こすリスクが高まる。
• エンド・トゥ・エンドで、パラメータ効率の高いアーキテクチャを構築し、内部特徴相関と外部マルチパス特徴融合の両方を向上させ、高品質な顔のスーパーレゾリューションを実現する。
• 低解像度入力から写真的で高解像度の顔画像を生成することで、下流の顔認識性能を向上させる。

提案手法

• 特徴マップのチャネル次元を分割・分類することで、内部相関を強化し、情報豊富な領域に注目する内部特徴スプリット・アテンション（ISA）機構を提案する。
• ISAを用いて顔のテクスチャ詳細の回復を強調する内部特徴スプリット・アテンション・ブロック（ISAB）を設計する。
• 2つの並列パスを統合する外部・内部スプリット・アテンショングループ（ESAG）を導入する。1つ目のパスはテクスチャ詳細用に級列されたISABを用い、2つ目のパスは顔の構造モデリング用にISAを用いる。
• 外部特徴アテンションとしてマルチパス特徴統合を実装し、構造表現とテクスチャ表現間の相関を強化する。
• 複数のESAGをスタックすることで、段階的に高解像度顔画像を精錬するスプリット・アテンション・イン・スプリット・アテンション・ネットワーク（SISN）を構築する。
• 知覚的損失と adversarial 損失を用いてエンド・トゥ・エンドのSISNモデルを訓練し、構造的およびテクスチャ的忠実度が向上した写真的出力を生成する。

Figure 1. Network architecture of SISN, which consists of four parts: coarse feature extraction layer, split-attention in split-attention deep feature extraction, upscale module, and reconstruction module.

実験結果

リサーチクエスチョン

• RQ1 統合されたディープラーニングフレームワークは、顔の高分解像化において、顔の構造的一致性と高周波数テクスチャの詳細回復を効果的にバランスできるか？
• RQ2 提案されたスプリット・アテンション機構は、従来のアテンションや残差ネットワークに比べ、グローバルな顔のレイアウトと微細なテクスチャの両方を保持する上で優れているか？
• RQ3 外部事前情報（例：ランドマーク、パースリングマップ）が存在しない状況でも、モデルの複雑さを増さずに高品質な高分解像顔を再構築できるか？
• RQ4 既存の顔の高分解像化技術と比較して、本手法はどれほど下流の顔認識性能を向上させるか？

主な発見

• 提案されたSISN手法は、SCfaceデータセットにおいて、比較対象のすべての手法の中で最高の平均顔類似度（0.540106）を達成し、顔認識タスクにおいてベースラインおよび最先端モデルを顕著に上回った。
• SISNは、ベースラインの低解像度（LR）での正規化類似度スコア0.490079をSISN再構築で0.540106に向上させ、特徴の一貫性が強化されたことを示した。
• LFWデータセットではPSNRが0.475734、SSIMが0.599383を達成し、RCAN、SRFBN、MTCを上回り、優れた画像再構築品質を示した。
• SISNは、明瞭さと自然さが向上した写真的で高解像度の顔画像を成功裏に再構築でき、定量的指標および定性的な視覚的比較によって裏付けられた。
• 低解像度で品質が悪い監視映像に対しても、本モデルは高い性能を維持しており、実世界の応用におけるロバスト性を確認した。
• アブレーションスタディにより、スプリット・アテンション機構が内部特徴相関とパス間特徴統合の両方を効果的に向上させ、再構築忠実度の向上に寄与していることが確認された。

Figure 2. Comparison with different combination of ESAGs and ISABs for 4 $\times$ SR on FFHQ testing dataset. The best result is available when ESAGs is 10 and ISABs is 10.