[論文レビュー] Rethinking conditional GAN training: An approach using geometrically structured latent manifolds

Sameera Ramasinghe, Moshiur Farazi+3 more|arXiv (Cornell University)|Nov 25, 2020

Cell Image Analysis Techniques被引用数 4

ひとこと要約

本論文は、潜在空間と出力多様体の間の二重リプシッツ写像を強制することで、アーキテクチャの変更なしに、生成サンプルの多様性と視覚的品質を著しく向上させる幾何学的構造を持つ訓練手法を提案する。訓練目的を唯一変更し、標準の敵対的損失を幾何学に配慮した損失に置き換えることで、その手法であるPix2Pix-Geoは、画像対画像翻訳タスクにおいて、アーキテクチャの変更なしに最先端の性能を達成し、多様体構造を保持する。

ABSTRACT

Conditional GANs (cGAN), in their rudimentary form, suffer from critical drawbacks such as the lack of diversity in generated outputs and distortion between the latent and output manifolds. Although efforts have been made to improve results, they can suffer from unpleasant side-effects such as the topology mismatch between latent and output spaces. In contrast, we tackle this problem from a geometrical perspective and propose a novel training mechanism that increases both the diversity and the visual quality of a vanilla cGAN, by systematically encouraging a bi-lipschitz mapping between the latent and the output manifolds. We validate the efficacy of our solution on a baseline cGAN (i.e., Pix2Pix) which lacks diversity, and show that by only modifying its training mechanism (i.e., with our proposed Pix2Pix-Geo), one can achieve more diverse and realistic outputs on a broad set of image-to-image translation tasks. Codes are available at https://github.com/samgregoost/Rethinking-CGANs.

研究の動機と目的

• 従来の条件付きGAN（cGAN）における多様性の欠如と多様体歪みの問題、特に画像対画像翻訳タスクにおいて解決する。
• 潜在空間におけるユークリッド的経路と生成多様体上の測地線との間のトポロジー不一致を解消する。
• ドロップアウトを超えるジェネレータの確率的性質を確保し、潜在ノイズを真正に活用するのを保証する。
• 敵対的損失と再構成損失の間の損失不一致を解消し、視覚的品質と多様性を損なわないようにする。
• 最適化のみの変更により、アーキテクチャの複雑化なしに性能を向上させられることを示す。

提案手法

• 潜在空間と出力多様体の間の二重リプシッツ写像を強制する新しい訓練目的を導入し、幾何的構造を保持する。
• cGANにおける標準の敵対的損失を、潜在空間のユークリッド的経路と出力多様体上の測地線を一致させる幾何学に配慮した損失に置き換える。
• 特徴再構成損失、スタイル損失、全変動損失を組み合わせた修正された目的関数を用い、訓練の安定性を保ちながら幾何的忠実性を維持する。
• ベースラインのPix2Pixモデルにこの手法を適用し、アーキテクチャを変更しない訓練手順のみを変更した新バージョンであるPix2Pix-Geoを構築する。
• 最適化によって潜在多様体と出力多様体の間の連続性と双射性を強制し、潜在空間の操作が意味的で滑らかな補間をもたらすことを保証する。
• スケッチから顔、エッジから靴、セグメンテーションマップから顔への多様な画像対画像翻訳タスクにおいて、定性的および定量的評価を通じてこのアプローチの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 幾何学的に構造化された潜在多様体は、アーキテクチャの変更なしに、条件付きGANにおける多様性と視覚的品質を向上させることができるか？
• RQ2 潜在多様体と出力多様体の間の二重リプシッツ写像を強制することで、トポロジー不一致が軽減され、補間品質が向上するか？
• RQ3 幾何学に配慮した訓練目的により、敵対的損失と再構成損失の間の損失不一致を軽減できるか？
• RQ4 提案手法は、より複雑な最先端モデルよりも画像対画像翻訳ベンチマークで優れた性能を示すか？
• RQ5 ジェネレータがドロップアウトに依存するのではなく、潜在ノイズを真正に活用して多様な出力を得られるようにできるか？

主な発見

• Pix2Pix-Geoは、訓練手順のみを変更したにもかかわらず、元のPix2Pixよりも顕著に高い出力多様性を達成している。
• 潜在コード間の滑らかで意味のある補間が実現されており、潜在空間における幾何的構造の向上が示されている。
• 視覚的品質が向上し、生成画像にアーチファクトが少なく、入力条件とよりよく一致している。
• スケッチから顔、スケッチから靴、ラベルからファサードへの複数の画像対画像翻訳タスクにおいて、Pix2Pix-Geoはより複雑な最先端モデルと同等またはそれを上回る性能を示している。
• ドロップアウトに依存する確率的性質の低減に成功しており、ジェネレータが潜在ノイズを真正に活用して多様な出力を得られるようになった。
• 本手法は汎用的であり、任意の従来のcGANに適用可能であることが示されており、セグメンテーションから顔、エッジから顔へのタスクへの成功した適応例も提示された。