[論文レビュー] Disentangling Content and Style via Unsupervised Geometry Distillation

Wayne Wu, Kaidi Cao+3 more|arXiv (Cornell University)|May 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 4

ひとこと要約

本稿では、幾何学的プライアーオンの導入により、画像のコンテンツとスタイルを分離する、教師なしの分離フレームワークを提案する。2本のブランチからなるオートエンコーダーを用い、潜在的コンテンツをソフト構造的ポイントテンソルに投影し、プライアーオン損失とKL正則化を用いて空間的一致性を強制することで、実画像および合成画像のデータセットにおいて最先端の分離性能と視覚的類似性の質を達成した。本モデルは人為的アノテーションを一切用いずに、高精細な $256\times256$ 画像を生成し、コンテンツとスタイルの分離された表現を実現した。

ABSTRACT

It is challenging to disentangle an object into two orthogonal spaces of content and style since each can influence the visual observation differently and unpredictably. It is rare for one to have access to a large number of data to help separate the influences. In this paper, we present a novel framework to learn this disentangled representation in a completely unsupervised manner. We address this problem in a two-branch Autoencoder framework. For the structural content branch, we project the latent factor into a soft structured point tensor and constrain it with losses derived from prior knowledge. This constraint encourages the branch to distill geometry information. Another branch learns the complementary style information. The two branches form an effective framework that can disentangle object's content-style representation without any human annotation. We evaluate our approach on four image datasets, on which we demonstrate the superior disentanglement and visual analogy quality both in synthesized and real-world data. We are able to generate photo-realistic images with 256*256 resolution that are clearly disentangled in content and style.

研究の動機と目的

• 人為的ランドマークや属性のアノテーションが一切ない完全な教師なし環境で、コンテンツとスタイルの分離表現を学習すること。
• 自然画像から構造的コンテンツを教師なしで学習する課題に、幾何的プライアーオン知識を活用して対処すること。
• コンテンツ表現に対する不変性と、画像間で一貫性のある構造的ポイントの均一分布を強制することで、分離性を保証すること。
• 実世界および合成データセット上で検証された、明確に分離されたコンテンツとスタイルの高品質な画像生成および視覚的類似性の実現

提案手法

• 2本のブランチからなるオートエンコーダー構造：コンテンツブランチは、最終層における層ごとのソフトマックスを用いたソフト構造的ポイントテンソルへの投影により、構造的コンテンツを学習する。
• 特化した損失関数により、画像間で高い再現性と均一な空間的分布を持つ構造的ポイントを強制する。
• スタイリングブランチは補完的な表現を学習し、スキップ接続とKLダイバージェンス損失を用いて、分離性とコンテンツ不変のスタイリングを促進する。
• 変分ベイジアンフレームワークを採用し、ELBO最適化を実施。プライアーオン損失 $L_{\text{prior}}$、再構成損失 $L_{\text{recon}}$、KLダイバージェンス損失 $L_{\text{KL}}$ を統合する。
• 生成画像の知覚的質を向上させ、ぼやけを低減するために、VGG特徴損失を適用する。
• 潜在空間ウォークとコンテンツ/スタイル交換を用い、分離性とマニフォールドカバレッジの定性的な検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーション（属性やランドマーク）が一切ない完全な教師なし環境で、コンテンツとスタイルの分離表現を学習可能か？
• RQ2 特に、構造的ポイントの分布という幾何的プライアーオン知識が、コンテンツとスタイルの教師なし分離を効果的に導けるか？
• RQ3 KL正則化によるコンテンツ不変のスタイリング表現の強制が、分離性と生成品質を向上させるか？
• RQ4 本手法は、分離性、再構成性、視覚的類似性の質の観点で、最先端の教師なし手法と比較してどのように優れているか？

主な発見

• キャットフェイスデータセットでは、ランドマーク検出誤差が0.030%に達し、先行の教師なし手法（例：Jakabら、2018年、0.038%）を顕著に上回った。
• キャットデータセットにおけるインセプションスコアは1.968に達し、高品質かつ多様な画像生成を示しており、SSIMは0.449で、優れた再構成忠実度を示した。
• CelebAデータセットでは、スタイリングの一貫性スコアが3.886 × 10⁻⁶、コンテンツの一貫性が1.529 × 10⁻⁶に達し、ベースラインおよび最先端の教師なし手法を上回った。
• アブレーションスタディの結果、VGG損失を除去すると、インセプションスコアが1.968から1.796に10%低下し、ぼやけの低減と知覚的質の向上におけるその重要性が示された。
• KL損失を除去すると、インセプションスコアは1.720に低下し、スタイリング一貫性誤差は6.556 × 10⁻⁵に上昇した。これは、コンテンツ不変のスタイリング表現を学習するうえでKL損失が重要な役割を果たしていることを示した。
• 可視化結果により、効果的なコンテンツ・スタイリング分離が確認された：コンテンツは列方向（例：表情やポーズ）で保持され、スタイリングは行方向（例：髪の色、照明、メイク）で一貫して転送された。