[論文レビュー] UVCGAN: UNet Vision Transformer cycle-consistent GAN for unpaired image-to-image translation

D. Torbunov, Yi Huang+6 more|arXiv (Cornell University)|Mar 4, 2022

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

UVCGANは、生成器アーキテクチャにビジョントランスフォーマー（ViT）を統合し、勾配ペナルティと自己教師付き事前学習を組み合わせることで、CycleGANを強化する画期的な非ペaired画像対画像変換モデルを提案する。このアプローチは、サイクル整合性を厳密に保持しつつ、ベンチマークデータセットで最先端の性能を達成し、より複雑なモデルよりも画像品質とコンテンツ忠実度の両面で優れている。

ABSTRACT

Unpaired image-to-image translation has broad applications in art, design, and scientific simulations. One early breakthrough was CycleGAN that emphasizes one-to-one mappings between two unpaired image domains via generative-adversarial networks (GAN) coupled with the cycle-consistency constraint, while more recent works promote one-to-many mapping to boost diversity of the translated images. Motivated by scientific simulation and one-to-one needs, this work revisits the classic CycleGAN framework and boosts its performance to outperform more contemporary models without relaxing the cycle-consistency constraint. To achieve this, we equip the generator with a Vision Transformer (ViT) and employ necessary training and regularization techniques. Compared to previous best-performing models, our model performs better and retains a strong correlation between the original and translated image. An accompanying ablation study shows that both the gradient penalty and self-supervised pre-training are crucial to the improvement. To promote reproducibility and open science, the source code, hyperparameter configurations, and pre-trained model are available at https://github.com/LS4GAN/uvcgan.

研究の動機と目的

• 非ペア画像対画像変換を用いて、科学的シミュレーションにおけるシミュレート済みデータと実験的データの乖離を埋める。
• サイクル整合性を緩和しないまま、古典的なCycleGANフレームワークを改訂し、性能を向上させる。これは科学的妥当性にとって不可欠である。
• U-Netバックボーンをビジョントランスフォーマーに置き換えることで、画像変換における長距離空間的依存関係のモデリングを改善する。
• 勾配ペナルティや自己教師付き事前学習などの高度な技術を用いて、訓練の安定性と一般化性能を確保する。
• オープンソースリポジトリを通じてコード、ハイパーパramータ、事前学習済みモデルを公開することで、再現可能性を促進する。

提案手法

• 長距離依存関係の効果的モデリングを図るため、CycleGANのU-Netジェネレータをビジョントランスフォーマー（ViT）エンコーダデコーダアーキテクチャに置き換える。
• サイクル整合性損失を統合して、入力画像と変換画像の間の一対一対応を強制し、意味的コンテンツの保存を実現する。
• 敵対的訓練中に勾配ペナルティ（GP）を適用することで、GAN最適化の安定化を図り、モード崩壊を防止する。
• ImageNetや類似データセットを用いた自己教師付き事前学習により、ViTエンコーダを初期化し、特徴学習と収束性の向上を図る。
• サイクル整合性損失と知覚損失を併用して、2つの敵対的ジェネレータ（A→B および B→A）をエンドツーエンドで訓練する。
• ViTにおけるマルチヘッド自己注意機構を活用し、モデルが顔の特徴（目や口）など意味的に関連する画像領域に注目できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーに基づくジェネレータは、厳密なサイクル整合性を維持したまま、非ペア画像対画像変換における画像品質を向上させることができるか？
• RQ2 勾配ペナルティと自己教師付き事前学習は、標準的なCycleGANと比較してUVCGANの性能向上にどのように寄与するか？
• RQ3 CycleGANフレームワークにViTを統合することで、変換画像におけるコンテンツおよびアイデンティティの保存が向上するか？
• RQ4 サイクル整合性制約を緩和しないまま、より複雑な最新のモデルを上回ることができるか？
• RQ5 ViT内の注目マップは、人間の視覚的注意パターンと一致する有意義な領域をどれほど明確に特定するか？これは解釈可能性と関連性を示唆する。

主な発見

• UVCGANは、Horse→Zebra、Apple→Orangeなど複数のベンチマークで、FIDとLPIPSスコアの両面で以前のSOTAモデルを上回った。
• Horse→Zebraデータセットでは、FIDが11.0、LPIPSが0.85±0.09を達成し、SPA-GAN や AdaIN-SPADE などのモデルを上回った。
• アブレーションスタディの結果、勾配ペナルティと自己教師付き事前学習の両方が不可欠であることが確認された。両方を削除すると、性能が著しく低下した。
• 注目マップの可視化結果から、モデルが顔の重要な領域（目や口）に注目していることが示され、人間の視覚的注意パターンと一致しており、意味のある特徴学習が行われていることを示している。
• ImageNetベースの翻訳タスクにおいても、UVCGANは優れた性能を発揮し、FIDが1.77±0.21、LPIPSが1.77±0.21を達成した。これは強力な一般化性能を示している。
• オリジナルのCycleGANよりも高い訓練コストを要するが、UVCGANの環境的影響は、より複雑な拡散モデルやノーマライジングフロー・モデルと比較して著しく低い。