[論文レビュー] TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation

Wayne Wu, Kaidi Cao+3 more|arXiv (Cornell University)|Apr 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 10

ひとこと要約

TransGaGa は、画像表現を分離された外観と幾何学の潜在空間に分解する幾何学に配慮した教師なし画像対画像変換フレームワークを提案する。この手法により、大きな形状変化が生じるドメイン間でも堅牢な変換が可能となる。条件付きVAEにKLダイバージェンスとスキップ接続を組み合わせ、サイクル整合性とVGG損失を併用することで、近似的に剛体および非剛体な物体変換タスクにおいて最先端の性能を達成し、例示ガイドド変換によるマルチモーダル生成も可能となる。

ABSTRACT

Unsupervised image-to-image translation aims at learning a mapping between two visual domains. However, learning a translation across large geometry variations always ends up with failure. In this work, we present a novel disentangle-and-translate framework to tackle the complex objects image-to-image translation task. Instead of learning the mapping on the image space directly, we disentangle image space into a Cartesian product of the appearance and the geometry latent spaces. Specifically, we first introduce a geometry prior loss and a conditional VAE loss to encourage the network to learn independent but complementary representations. The translation is then built on appearance and geometry space separately. Extensive experiments demonstrate the superior performance of our method to other state-of-the-art approaches, especially in the challenging near-rigid and non-rigid objects translation tasks. In addition, by taking different exemplars as the appearance references, our method also supports multimodal translation. Project page: https://wywu.github.io/projects/TGaGa/TGaGa.html

研究の動機と目的

• 既存の教師なし画像対画像変換手法がドメイン間の大きな幾何学的変化に対処できていない問題を解決すること。
• 外観と幾何学の分離表現学習を可能にし、変換の堅牢性を向上させること。
• ペairedデータが不要な状態でマルチモーダルおよび例示ガイドド画像変換を可能にすること。
• 顕著な形状差異を示すドメイン間でポーズと構造的一致性を維持すること。

提案手法

• 条件付きVAEにKLダイバージェンスとスキップ接続構造を用いて、画像空間を外観と幾何学の潜在空間のカルテジアン積に分離する。
• ネットワークが幾何学と外観の独立的かつ補完的な表現を学習するよう促すために、幾何学プライアーロスを導入する。
• 分離された外観および幾何学の潜在空間に対して、それぞれ専用のトランスフォーマーを用いて変換を別々に実行する。
• 構造的整合性とポーズの一貫性を保つために、サイクル整合性損失を適用する。
• 生成画像のリアリズムを向上させるために、VGGの知覚損失を用いる。
• ターゲットドメインの画像から外観特徴を転送することで、例示ガイドド生成を可能にし、変換された幾何学を保持する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン間の大きな幾何学的変化に対して、教師なし画像対画像変換が堅牢に機能するか。
• RQ2 教師なしの枠組みで外観と幾何学を効果的に分離できるか。これにより変換品質が向上するか。
• RQ3 分離された潜在空間がマルチモーダルおよび例示ガイドド画像生成をサポートできるか。
• RQ4 サイクル整合性損失、KL損失、VGG損失といった主要な構成要素が、変換性能にどのように寄与しているか。

主な発見

• TransGaGa は、馬から giraffe への変換や猫の顔から人間の顔への変換といった、近似的に剛体および非剛体な物体を含む困難なタスクにおいて、最先端の性能を達成している。
• ポーズの一貫性が高く維持されており、入力の例示の形状がどのように変化しても幾何学が忠実に保たれる例示ガイドド変換の成功が示されている。
• 分離された潜在空間における線形補間により、幾何学的および外観的側面で滑らかな遷移が得られ、密で意味のある多様体カバレッジが示されている。
• アブレーションスタディの結果、サイクル整合性損失はポーズ保持に不可欠であることが判明した。一方、VGG損失はぼんやりとした画像の低減とリアリズムの向上に寄与している。
• 人間の顔から猫の顔へのタスクにおいて、知覚評価で23.9%のだまし率を達成し、アブレーションバージョンを上回っている。
• サイクル整合性損失が存在しない場合でも、知覚スコアは16.8%と高い水準を維持しており、構造的一致性の維持にはサイクル損失が画像品質の向上よりもより重要であることが示唆されている。