[論文レビュー] Geometry-Consistent Generative Adversarial Networks for One-Sided Unsupervised Domain Mapping

Huan Fu, Mingming Gong+4 more|arXiv (Cornell University)|Sep 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 58被引用数 18

ひとこと要約

本稿では、幾何的整合性を強制することで、事前に定義された画像変換（例：回転）がドメインマッピング全体で保持されることを保証する、片側教師なしドメイン変換手法であるGeometry-Consistent GAN（GcGAN）を提案する。生成器を元の画像と変換済み画像の両方で共正則化することにより、GcGANはモード崩壊と意味的歪みを低減し、写真→地図やモノエット→写真翻訳といったタスクで、ベースラインのGANと比較して18–22%高い画素精度を達成し、最先端の性能を実現した。

ABSTRACT

Unsupervised domain mapping aims to learn a function to translate domain X to Y by a function GXY in the absence of paired examples. Finding the optimal GXY without paired data is an ill-posed problem, so appropriate constraints are required to obtain reasonable solutions. One of the most prominent constraints is cycle consistency, which enforces the translated image by GXY to be translated back to the input image by an inverse mapping GYX. While cycle consistency requires the simultaneous training of GXY and GY X, recent studies have shown that one-sided domain mapping can be achieved by preserving pairwise distances between images. Although cycle consistency and distance preservation successfully constrain the solution space, they overlook the special properties that simple geometric transformations do not change the semantic structure of images. Based on this special property, we develop a geometry-consistent generative adversarial network (GcGAN), which enables one-sided unsupervised domain mapping. GcGAN takes the original image and its counterpart image transformed by a predefined geometric transformation as inputs and generates two images in the new domain coupled with the corresponding geometry-consistency constraint. The geometry-consistency constraint reduces the space of possible solutions while keep the correct solutions in the search space. Quantitative and qualitative comparisons with the baseline (GAN alone) and the state-of-the-art methods including CycleGAN and DistanceGAN demonstrate the effectiveness of our method.

研究の動機と目的

• ペaired学習データが利用できないという教師なしドメインマッピングの不適切な性質に対処するため、訓練の安定化と翻訳品質の向上を図るために、幾何的整合性制約を導入する。
• 巡回整合性や距離保存性の限界を克服するため、回転などの単純な幾何的変換における意味的構造の不変性を活用する。
• 両方向の生成器を同時に訓練する必要がない片側ドメインマッピングを可能にするとともに、高品質で意味的に一貫した翻訳を維持する。
• 変換済み画像ペアに対する生成器の共正則化により、GANベースのドメイン翻訳における意味的歪みとモード崩壊を低減する。
• CycleGAN や DistanceGAN といった既存手法と比較して、幾何的整合性制約が多様な画像翻訳タスクにおいて相性が良く、優位性を示すことを実証する。

提案手法

• 本手法は、幾何的整合性制約を導入する：定義された幾何的変換 $ f(\cdot) $ に対して、変換済み画像 $ G_{XY}(x) $ が $ f(G_{XY}(x)) \approx G_{\tilde{X}\tilde{Y}}(f(x)) $ を満たす必要がある。ここで $ \tilde{X}, \tilde{Y} $ は変換済みドメインを表す。
• 生成器は、元の画像 $ x \in \mathcal{X} $ とその変換版 $ f(x) $ の両方で訓練され、出力に適用された変換が、変換済み入力に対する生成器の出力と一致するように制約される。
• この制約はサイクルに類似した損失により強制される：$ \| f(G_{XY}(x)) - G_{\tilde{X}\tilde{Y}}(f(x)) \|_1 \approx 0 $ により、ドメイン間での幾何的構造の保存が保証される。
• モデルは標準的なGANフレームワーク（判別器を含む）を用いるが、生成器は元の画像と変換済み画像の両方の翻訳をカップリングする追加の幾何的整合性損失を備えている。
• 本手法は、巡回整合性や距離保存性といった既存の制約と互換性があり、それらと組み合わせることでさらなる性能向上が可能である。
• 本手法は、ペア化された例や明示的な教師信号を一切必要とせず、未ペアデータのみを用いて教師なしに訓練される。

実験結果

リサーチクエスチョン

• RQ1 ペアデータが存在しない状況下でも、画像変換における幾何的整合性を強制することで、片側教師なしドメイン変換の性能向上が図れるか？
• RQ2 幾何的整合性制約は、GANベースのドメイン変換モデルにおけるモード崩壊と意味的歪みを低減するか？
• RQ3 幾何的不変性を活用することで、両方向モデル（例：CycleGAN）と同等またはそれ以上の性能を達成できる片側ドメインマッピングモデルは構築可能か？
• RQ4 幾何的整合性制約は、巡回整合性や距離保存性といった既存の制約とどのように作用し合うか？
• RQ5 幾何的整合性制約は、実世界のドメイン変換タスクにおけるRMSE や画素精度といった定量的指標に、どの程度向上効果をもたらすか？

主な発見

• Aerial photo → Map 翻訳タスクにおいて、GcGANはベースラインのGAN単体と比較して、$ \delta = 5 $ 時に21.9%の画素精度向上を達成し、詳細の保持が優れていることを示した。
• Aerial photo → Map ベンチマークでは、GcGAN-MixバージョンがRMSE 27.98を達成し、CycleGAN（RMSE: 28.15）とGAN単体（RMSE: 33.27）を上回った。
• Monet-to-Photo 翻訳タスクにおいて、GcGANはGAN単体およびCycleGANと比較して、より現実的で意味的に一貫性のある出力を生成したことが、定性的比較で示された。
• アブレーションスタディの結果、GcGAN-rot + Cycle損失はRMSE 28.21、画素精度 40.6%（$ \delta = 5 $）を達成し、幾何的整合性が巡回整合性を補完していることが示された。
• GcGAN-rotバージョンは、$ \delta = 5 $ 時に41.2%の画素精度を達成し、GAN単体（19.3%）を上回り、CycleGAN（41.8%）と同等の性能を示した。
• 定性的な結果から、GcGANはモード崩壊を効果的に抑制し、馬→シマウマ、昼→夜、合成→実写画像など多様なドメインにおいて、より多様で現実的な翻訳を生成していることが明らかになった。