[論文レビュー] CSGAN: Cyclic-Synthesized Generative Adversarial Networks for Image-to-Image Transformation

Kishan Babu Kancharagunta, Shiv Ram Dubey|arXiv (Cornell University)|Jan 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 12

ひとこと要約

本稿では、異なるドメイン間の合成画像とサイクル化された画像の整合性を強制することで、生成の忠実度を向上させるために、Cyclic-Synthesized Loss (CS Loss) を導入した新しい画像対画像変換フレームワーク CSGAN を提案する。この手法は、CUHK の顔スケッチから写真への変換データセットにおいて、Pix2Pix や CycleGAN や PS2GAN といった最先端モデルを上回り、特に LPIPS が低く、SSIM が高いという点で、構造的および知覚的類似性に優れている。

ABSTRACT

The primary motivation of Image-to-Image Transformation is to convert an image of one domain to another domain. Most of the research has been focused on the task of image transformation for a set of pre-defined domains. Very few works are reported that actually developed a common framework for image-to-image transformation for different domains. With the introduction of Generative Adversarial Networks (GANs) as a general framework for the image generation problem, there is a tremendous growth in the area of image-to-image transformation. Most of the research focuses over the suitable objective function for image-to-image transformation. In this paper, we propose a new Cyclic-Synthesized Generative Adversarial Networks (CSGAN) for image-to-image transformation. The proposed CSGAN uses a new objective function (loss) called Cyclic-Synthesized Loss (CS) between the synthesized image of one domain and cycled image of another domain. The performance of the proposed CSGAN is evaluated on two benchmark image-to-image transformation datasets, including CUHK Face dataset and CMP Facades dataset. The results are computed using the widely used evaluation metrics such as MSE, SSIM, PSNR, and LPIPS. The experimental results of the proposed CSGAN approach are compared with the latest state-of-the-art approaches such as GAN, Pix2Pix, DualGAN, CycleGAN and PS2GAN. The proposed CSGAN technique outperforms all the methods over CUHK dataset and exhibits the promising and comparable performance over Facades dataset in terms of both qualitative and quantitative measures. The code is available at https://github.com/KishanKancharagunta/CSGAN.

研究の動機と目的

• 異なるドメインにわたる画像対画像変換のための統一的かつ一般化可能なフレームワークの開発。タスク固有またはペアデータ依存の手法の限界を克服すること。
• GANベースの画像変換モデルにおけるアーティファクトや構造的不整合を解消するため、合成画像とサイクル化された画像の整合性を強制する新しい損失関数の導入。
• 特に顔の写真スケッチ合成のような挑戦的なタスクにおいて、ピクセルレベルの忠実度と知覚的品質の両方を向上させること。
• CUHK および CMP Facades データセットを用いたベンチマークで、提示された CSGAN フレームワークの有効性を定性的および定量的に検証すること。

提案手法

• CSGAN フレームワークは、CycleGAN と同様に、2つの生成器 (G_AB と G_BA) と 2つの識別器 (D_A と D_B) を採用するが、合成画像とサイクル化された画像の整合性を強制する新しい Cyclic-Synthesized Loss (CS Loss) を導入する。
• CS Loss は、ドメイン A からの合成画像 (G_AB(x)) とドメイン B からのサイクル化された画像 (G_BA(G_AB(x))) の間の L1 損失として計算される。
• 全体の目的関数は、生成的損失（リアルさのため）、サイクル整合性損失（再構成のため）、および新規のサイクル的合成損失（ドメイン間の整合性のため）の3つの損失を組み合わせたものである。
• バックプロパゲーションを用いたエンドツーエンドの学習により、結合損失を最適化する。この際、CS Loss は合成出力とサイクル化出力の差異をペナルティ化することで、アーティファクトの低減に寄与する。
• 標準的な GAN およびサイクル-GAN の学習プロトコルに従い、ペアデータセット（CUHK）および非ペアデータセット（Facades）の両方で評価が行われる。
• 実装には PyTorch を使用し、公開されている。URL: https://github.com/KishanKancharagunta/CSGAN

実験結果

リサーチクエスチョン

• RQ1 合成画像とサイクル化された画像の整合性を強制する新しい損失関数が、画像対画像変換の性能向上に寄与するか。
• RQ2 提案された Cyclic-Synthesized Loss (CS Loss) は、既存の GAN ベースの手法と比較して、アーティファクトの低減および構造的・知覚的品質の向上を達成するか。
• RQ3 CSGAN は、ペアデータセット（CUHK）および非ペアデータセット（Facades）の両方のベンチマークで、最先端モデルと比較してどの程度の性能を示すか。
• RQ4 CS Loss は、ピクセルレベルの正確さと知覚的類似性のトレードオフをどの程度改善するか。

主な発見

• CUHK 顔スケッチから写真への変換データセットにおいて、CSGAN は最高の SSIM (0.898) と最低の LPIPS (0.121) を達成し、真値との構造的および知覚的類似性が優れていることを示している。
• CUHK データセットにおいて、CSGAN は最低の MSE (0.0028) と最高の PSNR (28.5 dB) を達成しており、ピクセルレベルの再構成精度が優れていることを示している。
• CMP Facades データセットにおいて、CSGAN は最高の PSNR (26.7 dB) と SSIM (0.861) を達成し、サイクルGAN や DualGAN よりも定性的な整合性とアーティファクト低減に優れている。
• 定性的な結果から、CSGAN は GAN や Pix2Pix や DualGAN や PS2GAN や CycleGAN と比較して、アーティファクトが少なく、色の整合性が高く、より現実的なテクスチャを生成していることがわかる。
• アブレーションスタディの結果、Cyclic-Synthesized Loss の追加が、特に構造的歪みや背景ノイズの低減において性能向上を顕著に示している。
• 本手法はペアデータセットおよび非ペアデータセットの両方で頑健であり、知覚的品質の向上と幻覚効果の低減という点で一貫した改善を示している。