[論文レビュー] Learning Oracle Attention for High-fidelity Face Completion

Tong Zhou, Changxing Ding+3 more|arXiv (Cornell University)|Mar 31, 2020

Face recognition and analysis参考文献 38被引用数 4

ひとこと要約

本稿では、オラクル監視とマルチディスクライマインャー訓練を用いた二重空間アテンション（DSA）モジュールを活用した、高精細画像生成を向上させる新しい顔面補完フレームワークを提案する。正確なアテンションスコアの制約と、顔の主要部品に焦点を当てた敵対的学習を実施することで、CelebA-HQおよびFlickr-Faces-HQで最先端の性能を達成し、アーティファクトを顕著に低減するとともに、テクスチャの現実性と対称性を向上させた。

ABSTRACT

High-fidelity face completion is a challenging task due to the rich and subtle facial textures involved. What makes it more complicated is the correlations between different facial components, for example, the symmetry in texture and structure between both eyes. While recent works adopted the attention mechanism to learn the contextual relations among elements of the face, they have largely overlooked the disastrous impacts of inaccurate attention scores; in addition, they fail to pay sufficient attention to key facial components, the completion results of which largely determine the authenticity of a face image. Accordingly, in this paper, we design a comprehensive framework for face completion based on the U-Net structure. Specifically, we propose a dual spatial attention module to efficiently learn the correlations between facial textures at multiple scales; moreover, we provide an oracle supervision signal to the attention module to ensure that the obtained attention scores are reasonable. Furthermore, we take the location of the facial components as prior knowledge and impose a multi-discriminator on these regions, with which the fidelity of facial components is significantly promoted. Extensive experiments on two high-resolution face datasets including CelebA-HQ and Flickr-Faces-HQ demonstrate that the proposed approach outperforms state-of-the-art methods by large margins.

研究の動機と目的

• 複雑な顔面テクスチャと構造的相関のため、高精細顔面補完の課題に対処すること。
• 既存のアテンションベース手法における不正確なアテンションスコアが引き起こすアーティファクトや意味的不整合を克服すること。
• 顔のランドマーク事前知識と特化したディスクライマインャーを活用することで、目、鼻、口といった顔の主要部品の忠実度を向上させること。
• オラクル監視によりアテンションメカニズムを信頼性あるものとし、補完中の特徴選択をガイドすること。
• 高分解能データセットにおいて、最先端の手法と比較して優れた視覚的品質と定量的性能を達成すること。

提案手法

• 複数スケールにわたるピクセルレベルの相関をモデル化するため、前景自己アテンションと前景・背景間クロスアテンションを統合した二重空間アテンション（DSA）モジュールを提案する。
• アテンションスコアを制約するためのオラクル監視信号を導入し、意味的に意味のあるスコアを保証するとともに、生成テクスチャにおける幻覚を低減する。
• 実際の画像からの顔のランドマークを事前知識として用い、目、鼻、口の4つの主要顔面部品を特定・局在化し、局所的精錬を可能にする。
• 各顔面部品に別々のディスクライマインャーを配置し、敵対的学習によって高精細なテクスチャ生成を強化する。
• DSAモジュールとマルチディスクライマインャーをU-Netベースのジェネレータに統合し、推論時にはディスクライマインャーを削除することで効率性を維持する。
• 知覚的損失と敵対的損失を用いてエンドツーエンドでモデルを訓練し、特にアテンションマップに監視を適用することで、信頼性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 オラクル監視付きアテンション学習は、不正確なアテンションスコアに起因するアーティファクトを低減させるために、顔面補完における特徴選択の信頼性を向上させるか？
• RQ2 目、鼻、口といった顔の主要部品に焦点を当てた敵対的学習は、グローバルまたはローカルディスクライマインャー単体と比較して、より高いテクスチャ忠実度を達成するか？
• RQ3 ピクセルレベルの相関モデリングを特徴とする二重空間アテンションは、パッチベースのアテンション機構と比較して、顔の対称性と詳細の保持においてどれほど優れているか？
• RQ4 ランドマークに基づく事前知識の統合は、生成された顔面部品の空間的整合性と現実性をどれほど向上させるか？
• RQ5 マルチディスクライマインャー戦略は、推論速度に悪影響を及げることなく、高周波数テクスチャディティールを向上させることができるか？

主な発見

• 提案手法は、CelebA-HQおよびFlickr-Faces-HQで最先端の性能を達成し、定性的および定量的評価の両面で先行手法を上回った。
• オラクル監視付きDSAモジュールは、目同士の色の違いや鼻・口領域におけるテクスチャ歪曲を含むアーティファクトを低減した。
• 定量的評価では、CelebA-HQで監視付きアテンションを用いることでPSNRが26.23から26.36に、SSIMが0.9062から0.9107に向上し、LPIPSは0.0706（監視付き）vs. 0.0726（非監視）と低く抑えられ、より優れた知覚的品質を示した。
• マルチディスクライマインャー構成は、視覚的比較およびズームイン解析を通じて、顔面部品におけるテクスチャのシャープネスと現実性を顕著に向上させた。
• 推論時にディスクライマインャーを削除することで、推論効率を維持し、性能にオーバーヘッドを発生させない。
• アブレーションスタディの結果、アテンションへのオラクル監視および部品特化ディスクライマインャーの両方が、高精細な結果を達成するために不可欠であることが確認された。