[論文レビュー] Spatial Fusion GAN for Image Synthesis

Fangneng Zhan, Hongyuan Zhu+1 more|arXiv (Cornell University)|Dec 14, 2018

Generative Adversarial Networks and Image Synthesis参考文献 56被引用数 8

ひとこと要約

本稿では、ガイド付きフィルタを統合した幾何学的合成器と外観的合成器を組み合わせることで、幾何空間および外観空間の両方でリアルな性能を同時に達成するエンドツーエンドで学習可能な生成モデル、Spatial Fusion GAN (SF-GAN) を提案する。この手法は、シーンテキスト画像およびポートレート装着画像の合成において最先端の手法を上回り、ベースラインの GAN より認識精度を 6% 向上させる。

ABSTRACT

Recent advances in generative adversarial networks (GANs) have shown great potentials in realistic image synthesis whereas most existing works address synthesis realism in either appearance space or geometry space but few in both. This paper presents an innovative Spatial Fusion GAN (SF-GAN) that combines a geometry synthesizer and an appearance synthesizer to achieve synthesis realism in both geometry and appearance spaces. The geometry synthesizer learns contextual geometries of background images and transforms and places foreground objects into the background images unanimously. The appearance synthesizer adjusts the color, brightness and styles of the foreground objects and embeds them into background images harmoniously, where a guided filter is introduced for detail preserving. The two synthesizers are inter-connected as mutual references which can be trained end-to-end without supervision. The SF-GAN has been evaluated in two tasks: (1) realistic scene text image synthesis for training better recognition models; (2) glass and hat wearing for realistic matching glasses and hats with real portraits. Qualitative and quantitative comparisons with the state-of-the-art demonstrate the superiority of the proposed SF-GAN.

研究の動機と目的

• 既存の GAN が幾何空間または外観空間のいずれかの分野でのリアリズムにのみ焦点を当てているという限界を是正すること。
• 最小限の監視のもとで、幾何と外観の合成を統合的にエンドツーエンドで学習可能なフレームワークを構築すること。
• 深層学習モデルの学習に適した高品質でリアルな画像を生成すること、特にシーンテキストおよびポートレート装着の応用に特化して。
• GAN で生成された画像が認識モデルの性能向上にどの程度寄与するかを調査すること。

提案手法

• SF-GAN は、文脈的な背景の幾何を学習し、薄板スプラインなどの空間変換を用いて前景オブジェクトと背景を整列させる幾何合成器を採用する。
• 外観合成器は、ガイド付きフィルタを用いて前景オブジェクトの色、明るさ、スタイルを調整し、外観移行中に微細なディテールを保持する。
• 幾何と外観の合成器は互いに参照関係を形成し、エンドツーエンド学習中に共同最適化を可能にする。
• 生成画像と実画像を区別するように学習するディスクライマが導入され、両方の合成器をガイドする。
• 完全な監視に依存せず、 adversarial loss と perceptual loss を用いて整合性とリアリズムを確保する。
• ガイド付きフィルタは、他の GAN におけるスタイル移行で一般的なディテール損失を軽減するために、外観ブランチに特に統合されている。

実験結果

リサーチクエスチョン

• RQ1 GAN は、画像合成において幾何と外観の両空間で同時にリアリズムを達成できるか？
• RQ2 幾何と外観の合成の相互作用は、単一モodalな手法と比較して、画像のリアリズムをどの程度向上させるか？
• RQ3 GAN で生成された画像は、下流の認識モデルの性能向上にどの程度寄与できるか？
• RQ4 提案手法は、シーンテキスト合成やポートレート装着などの多様な画像構成タスクに一般化可能か？

主な発見

• シーンテキスト画像の AMT ユーザースタディにおいて、SF-GAN は 57.7% のリアリズムスコアを達成し、ST-GAN (31.6%) や他の最先端手法を大きく上回った。
• ポートレート装着タスクでは、AMT におけるリアリズム分類スコアが 67.3% に達し、ST-GAN (42.6%) を上回り、外観と幾何の調和に優れた性能を示した。
• 認識モデルの学習に SF-GAN を用いることで、ベースラインの SF-GAN よりも平均認識精度が 6% 向上し、モデル事前学習への有効性が実証された。
• ガイド付きフィルタ部は、他の GAN で一般的なアーティファクトを低減させながら、外観移行中の微細なディテールを効果的に保持した。
• 幾何と外観ブランチの相互接続により、幾何のみのモデルよりも優れた幾何的整列が達成され、学習中に相互強化が生じたことが示唆された。
• 薄板スプライン変換を用いて、曲がったテキスト画像の合成に成功し、複雑な幾何的歪みに対しても高いロバスト性を示した。