[論文レビュー] TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network

Yuanzhi Wang, Tao Lü+5 more|arXiv (Cornell University)|Sep 16, 2021

Advanced Image Processing Techniques参考文献 33被引用数 9

ひとこと要約

本稿では、自己注意メカニズムを用いた長距離の顔の構造モデリングと、CNNを用いた細粒度の局所的詳細回復を統合することで、グローバル顔スーパーサンプリングに適した新規なTransformer-CNN集約ネットワークTANetを提案する。2つの並列パスからの特徴を統合することで、TANetは顔再構築品質および下流の顔認識精度の両面で最先端の性能を達成し、SCFaceデータセットにおける8倍スーパーサンプリングで16.92%の一致精度を達成した。

ABSTRACT

Recently, face super-resolution (FSR) methods either feed whole face image into convolutional neural networks (CNNs) or utilize extra facial priors (e.g., facial parsing maps, facial landmarks) to focus on facial structure, thereby maintaining the consistency of the facial structure while restoring facial details. However, the limited receptive fields of CNNs and inaccurate facial priors will reduce the naturalness and fidelity of the reconstructed face. In this paper, we propose a novel paradigm based on the self-attention mechanism (i.e., the core of Transformer) to fully explore the representation capacity of the facial structure feature. Specifically, we design a Transformer-CNN aggregation network (TANet) consisting of two paths, in which one path uses CNNs responsible for restoring fine-grained facial details while the other utilizes a resource-friendly Transformer to capture global information by exploiting the long-distance visual relation modeling. By aggregating the features from the above two paths, the consistency of global facial structure and fidelity of local facial detail restoration are strengthened simultaneously. Experimental results of face reconstruction and recognition verify that the proposed method can significantly outperform the state-of-the-art methods.

研究の動機と目的

• 既存の顔スーパーサンプリング手法がグローバル構造を無視するか、不正確な顔の事前知識に依存するという限界を是正すること。
• 自己注意メカニズムを用いて長距離依存関係を効果的に捉えるグローバル顔スーパーサンプリングのパラダイムを構築すること。
• グローバル顔の構造の一貫性を維持するとともに、高精細な局所的顔の詳細を回復すること。
• 特に下流の顔認識タスクにおいて、実世界の監視環境における顔スーパーサンプリングの性能を向上させること。

提案手法

• TANetは二重パスアーキテクチャを採用する：一方のパスは、純粋なCNNに基づく自己キャリブレーションマルチパス統合ネットワーク（SMFN）を用いて局所的顔の詳細を回復する。
• もう一方のパスは、リソースにやさしく、軽量なTransformerを用いて、自己注意を介して長距離の視覚的依存関係をモデル化し、グローバル顔構造を捉える。
• 両パスの特徴マップは、学習可能な統合モジュールを介して統合され、グローバルコンテキストと局所的テクスチャ表現が組み合わされる。
• Transformerの埋め込み次元をCNN特徴次元と一致させることで、計算コストを最小限に抑えつつ性能を維持する。
• リアルリズムと構造的一致性を向上させるために、知覚損失と adversarial loss を用いてエンドツーエンドでモデルを訓練する。
• フレームワークは、8倍スーパーサンプリング条件下でSCFaceデータセット上で評価され、アブレーションスタディおよび最先端手法との比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 自己注意に基づくグローバルモデリング機構は、顔スーパーサンプリングにおける長距離顔構造的依存関係を捉える点で、従来のCNNを上回ることができるか？
• RQ2 軽量なTransformerパスは、計算コストを著しく増加させることなく、グローバル顔コンテキストを効果的にモデル化できるか？
• RQ3 グローバルTransformer特徴と局所的CNN特徴の統合は、顔再構築品質および下流の認識性能を向上させることができるか？
• RQ4 低品質・低解像度の入力条件下において、提案されたTANetは、先行手法と比較して顔認識精度で優れているか？

主な発見

• TANetは、SCFaceデータセットにおける8倍スーパーサンプリング条件下で、16.92%の一致精度を達成し、すべてのベースライン手法を上回った。
• TANetの平均類似度スコア0.292729は、比較されたすべての手法の中で最高であり、認識に適した特徴品質の向上を示している。
• 図5の可視化結果から、TANetは他の手法と比較して、より現実的で詳細な顔テクスチャを生成していることがわかる。
• アブレーションスタディの結果、分離されたグローバルおよび局所的特徴学習を実現する二重パス設計が、単一パスまたは事前知識に基づく手法よりも顕著に性能を向上させていることが確認された。
• 本手法は低品質な状況においても頑健であることが示され、Transformerベースのアプローチの中で最高の顔認識性能を示した。
• 改善は見られたが、16.92%の一致精度は、実世界での展開には依然として不十分であり、さらなる発展の余地があることが示唆された。