[論文レビュー] The Spatially-Correlative Loss for Various Image Translation Tasks

Chuanxia Zheng, Tat‐Jen Cham+1 more|arXiv (Cornell University)|Apr 2, 2021

Generative Adversarial Networks and Image Synthesis参考文献 54被引用数 10

ひとこと要約

本稿では、外観とは無関係に画像内の自己同一性パターンをモデル化することで、外観が大きく変化する状況下でもシーン構造を保持する、空間相関性のある新しい損失関数 F/LSeSim を提案する。この手法は、対応のない画像間翻訳タスクにおいて、対照学習を用いてドメイン不変の空間相関を学習することで、サイクル整合性や特徴マッチングベースラインを上回る構造の忠実度と多様性を達成し、最先端の性能を発揮する。

ABSTRACT

We propose a novel spatially-correlative loss that is simple, efficient and yet effective for preserving scene structure consistency while supporting large appearance changes during unpaired image-to-image (I2I) translation. Previous methods attempt this by using pixel-level cycle-consistency or feature-level matching losses, but the domain-specific nature of these losses hinder translation across large domain gaps. To address this, we exploit the spatial patterns of self-similarity as a means of defining scene structure. Our spatially-correlative loss is geared towards only capturing spatial relationships within an image rather than domain appearance. We also introduce a new self-supervised learning method to explicitly learn spatially-correlative maps for each specific translation task. We show distinct improvement over baseline models in all three modes of unpaired I2I translation: single-modal, multi-modal, and even single-image translation. This new loss can easily be integrated into existing network architectures and thus allows wide applicability.

研究の動機と目的

• 大きな外観変化下でも、既存の対応のない画像間翻訳手法がシーン構造を保持できないという制限に対処すること。
• ドメイン固有の外観からシーン構造を分離し、ドメイン不変の空間相関を学習すること。
• 既存のアーキテクチャに簡単に統合可能な、シンプルで効率的かつ汎用性の高い損失関数を開発すること。
• 構造の保持が重要な多モードおよび単一画像翻訳設定での性能向上を図ること。
• 特徴ベースの損失関数で生じる固定事前学習ネットワークのバイアスを克服し、タスク固有の空間相関マップを学習すること。

提案手法

• 事前学習ネットワークの特徴から計算される固定自己同一性マップである FSeSim を提案し、画像内自己同一性に基づいて空間的構造を符号化する。
• 対照学習を用いて、外観が異なっても同相構造を明示的に一致させる、学習された自己同一性マップである LSeSim を導入する。
• 類似した空間パターンが対応する構造内に存在するよう促す対照損失を採用し、外観の違いがあっても同様のパターンを維持する。
• 複数スケールの局所的アテンション機構を用いて、異なる受容fieldを持つ空間相関マップを計算し、構造的詳細を向上させる。
• 従来のコンテンツ損失（例：サイクル整合性、知覚的損失）の代わりに、F/LSeSim を既存の I2I フレームワークに組み込み、外観とは独立して構造を評価する。
• 多ドメインおよび単一画像翻訳設定の両方で損失を適用し、高解像度の単一画像翻訳に適した CUT ベースアーキテクチャを含む。

実験結果

リサーチクエスチョン

• RQ1 自己同一性パターンに基づく損失関数は、対応のない画像間翻訳における大きな外観変化下でもシーン構造を保持できるか？
• RQ2 ドメイン不変の空間相関表現は、固定特徴またはピクセルレベルの損失と比較して、構造保持においてどのように優れるか？
• RQ3 自己教師付き対照学習アプローチは、多様な翻訳タスクに一般化可能なタスク固有の空間相関を学習できるか？
• RQ4 サイクル整合性または知覚的損失を F/LSeSim に置き換えることで、多モードおよび単一画像翻訳での性能が向上するか？
• RQ5 空間相関損失は、外観の多様性を制約せずに、どの程度構造の忠実度を向上させるか？

主な発見

• 提案された F/LSeSim 損失は、CycleGAN や MUNIT、CUT といった最先端手法と比較して、すべての3つの対応のない I2I 翻訳モードで優れたもしくは同等の結果を達成した。
• 多モード翻訳（例：冬→夏、夜→昼）において、外観変動に対するペナルティがないため、MUNIT よりも高品質で多様性に富んだ出力を生成した。
• アブレーションスタディでは、複数層の局所アテンション（D列）がグローバルアテンションやランダムサンプリングよりも顕著に性能向上を示し、遠方の空間相関によるノイズを低減した。
• L1 距離からコサイン距離に置き換えることで（E列）、同じマップ値を強制しない分、相関パターンを維持しつつ多様性スコアが著しく向上した。
• 単一画像翻訳において、FSeSim を用いたモデルは、CUT や WCT2、STRORSS よりも画像品質およびスタイル整合性の両面で優れており、特に高解像度領域で顕著であった。
• LSeSim を含む完全なモデル（F列）は、すべての指標で最高の結果を達成し、タスク固有の対照学習による空間相関マップの有効性を示した。