[論文レビュー] GANHopper: Multi-Hop GAN for Unsupervised Image-to-Image Translation

Wallace Lira, Johannes Merz+3 more|arXiv (Cornell University)|Feb 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 7

ひとこと要約

GANHopperは、教師なし画像対画像変換のためのマルチホップ生成的対抗ネットワークを提案する。この手法は、ペairedデータがなくとも、ドメイン間で段階的で順次的な変換（例：ネコからイヌへ）を学習する。中間画像に重み付きハイブリッドに近づけるように制約を課す新しいハイブリッドディスクライマと滑らかさ正則化を用いることで、色調などのドメイン固有でない特徴を優れた精度で保持しつつ、複雑な幾何的および形状的変化を効果的にモデル化する。

ABSTRACT

We introduce GANHopper, an unsupervised image-to-image translation network that transforms images gradually between two domains, through multiple hops. Instead of executing translation directly, we steer the translation by requiring the network to produce in-between images that resemble weighted hybrids between images from the input domains. Our network is trained on unpaired images from the two domains only, without any in-between images. All hops are produced using a single generator along each direction. In addition to the standard cycle-consistency and adversarial losses, we introduce a new hybrid discriminator, which is trained to classify the intermediate images produced by the generator as weighted hybrids, with weights based on a predetermined hop count. We also add a smoothness term to constrain the magnitude of each hop, further regularizing the translation. Compared to previous methods, GANHopper excels at image translations involving domain-specific image features and geometric variations while also preserving non-domain-specific features such as general color schemes.

研究の動機と目的

• 大規模な幾何的およびドメイン固有の特徴の変化が要請される状況において、教師なし画像対画像変換の課題に対処すること。
• ペアデータや中間画像の監視がなくとも、制御可能で段階的なドメイン間変換を可能にすること。
• ドメイン固有の特徴（例：顔の形状）を変換する一方で、ドメイン固有でない特徴（例：色調）を保持すること。
• マルチホップ学習による探索空間の制約により、複雑な変換タスクにおける一般化性と安定性を向上させること。

提案手法

• ネットワークは複数のホップで変換を実行し、各ホップでホップ数に応じた重み付きハイブリッドとしての出力画像が生成される。
• 新しいハイブリッドディスクライマを導入し、ホップインデックスに基づいて中間画像が特定の重み付き組み合わせのソース・ターゲットドメインに属するかどうかを分類するように訓練する。
• 各方向に1つのジェネレータを用いることで、CycleGANと同等の計算効率を維持する。
• 各ホップにおける期待されるドメイン混合にどの程度近いかを評価するためのハイブリッド損失を導入する。
• 連続するホップ間の大きなずれをペナルティ化する滑らかさ損失を導入し、段階的で安定した変換を保証する。
• サイクル整合性、対抗的、ハイブリッド、滑らかさ損失を組み合わせた訓練フレームワークを採用し、すべてをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 マルチホップ変換は、教師なし画像対画像変換において、複雑な幾何的および形状的変化のモデル化を改善できるか？
• RQ2 明示的な監視やペアデータがなくとも、ジェネレータが意味のある中間画像を生成するようにどのように制御できるか？
• RQ3 長大なドメイン変換において、色調のようなドメイン固有でない特徴はどの程度保持できるか？
• RQ4 滑らかさ損失およびハイブリッド損失は、変換品質および安定性にどのような影響を与えるか？
• RQ5 マルチホップ制約を課えた単純な1ジェネレータアーキテクチャは、より複雑な分離または潜在空間ベースの手法を上回る性能を発揮できるか？

主な発見

• GANHopperは、特に長めの鼻の犬のような挑戦的ケースにおいて、被写体固有の特徴（例：毛の色や模様）を、CycleGAN や GANimorph よりも優れた精度で保持する。
• 滑らかさ損失は、オブジェクト消去（例：シマウマの脚が消える）などのアーチファクトを顕著に低減する。重みを高く設定することで、この失敗モードが緩和される。
• ハイブリッドディスクライマにより、中間画像の品質に対する効果的な監視が可能となり、各ホップにおける期待されるドメイン混合に生成画像が整合するよう保証される。
• ハイブリッド損失の重み（δ）を高めることで、ドメイン混合の正確性が向上するが、高すぎると非対称性やアーチファクトが生じる可能性がある。
• 4ホップで実行した場合、GANHopperは直接変換よりも滑らかで、人間評価および定量的指標で確認されたように、より一貫性のある視覚的遷移を達成する。
• 本手法は、多様な色調と幾何的変化にわたって性能を維持し、イヌからネコ、ネコからイヌへの変換タスクにおいて両方で頑健であることが示された。