[論文レビュー] Unbalanced Feature Transport for Exemplar-based Image Translation

Fangneng Zhan, Yingchen Yu+8 more|arXiv (Cornell University)|Jun 19, 2021

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、条件付き入力とスタイル例証と間の特徴をアンバランスな最適輸送（UOT）を用いて整列させる、UNITEと呼ばれる新規な例証ベースの画像変換フレームワークを提案する。これにより、忠実なスタイル転送と高精細で現実的な画像生成が可能になる。アダプティブマス学習とマルチステージ特徴輸送を導入することで、多数対一のマッチングを軽減し、微細なテクスチャを保持する。定量的・定性的な指標において、最先端の手法を上回る性能を発揮する。

ABSTRACT

Despite the great success of GANs in images translation with different conditioned inputs such as semantic segmentation and edge maps, generating high-fidelity realistic images with reference styles remains a grand challenge in conditional image-to-image translation. This paper presents a general image translation framework that incorporates optimal transport for feature alignment between conditional inputs and style exemplars in image translation. The introduction of optimal transport mitigates the constraint of many-to-one feature matching significantly while building up accurate semantic correspondences between conditional inputs and exemplars. We design a novel unbalanced optimal transport to address the transport between features with deviational distributions which exists widely between conditional inputs and exemplars. In addition, we design a semantic-activation normalization scheme that injects style features of exemplars into the image translation process successfully. Extensive experiments over multiple image translation tasks show that our method achieves superior image translation qualitatively and quantitatively as compared with the state-of-the-art.

研究の動機と目的

• 参照例証を用いた条件付き画像間変換における忠実なスタイル制御の課題に対処すること。
• コサイン類似度に基づく特徴マッチングの限界を克服すること。これはしばしば多数対一のマッチングを引き起こし、詳細の損失を招く。
• 条件付き入力と例証との間で分布が著しく異なる特徴を効果的に整列する手法を設計すること。
• マルチスケール・マルチステージ特徴輸送により、複雑なテクスチャを保持すること。
• 画像生成中に意味的整合性を維持するスタイルインジェクション機構を構築すること。

提案手法

• 分布の不一致に対処するためのアダプティブマス学習を備えた、アンバランスな最適輸送（UOT）を導入し、条件付き入力と例証の間で特徴を整列させる。
• 翻訳プロセス全体で異なるスケールの詳細なテクスチャを保持するため、マルチステージ特徴輸送戦略を採用する。
• 意味的活性化正規化（SEACE）層を設計し、整列済みのスタイル特徴を翻訳ネットワークにインジェクションするが、意味的整合性を維持する。
• 特徴輸送と翻訳ネットワークをエンドツーエンドで共同最適化することで、再現性とスタイルの正確性を向上させる。
• コサイン類似度で用いられる個別特徴マッチングの欠陥を避けるために、特徴を全体としてマッチングする最適輸送を活用する。
• 2ストリームアーキテクチャを活用する：特徴輸送ネットワーク（整列用）と画像生成用の翻訳ネットワーク。

Figure 1: Different feature matching in image translation: Cosine Similarity tends to match each feature separately which often leads to many-to-one matching. Classical optimal transport ( Classical OT ) suppresses the many-to-one matching problem but it matches all feature points including undesire

実験結果

リサーチクエスチョン

• RQ1 条件付き入力と例証間の特徴整列をどのように改善すれば、多数対一のマッチングを軽減し、微細な詳細を保持できるか？
• RQ2 アンバランスな最適輸送は、条件付き入力と例証の間の分布不一致をどのように処理するか？
• RQ3 マルチステージ特徴輸送は、画像変換における複雑なテクスチャの保持にどのように寄与するか？
• RQ4 新しい正規化方式は、意味的整合性を維持しながら効果的にスタイル特徴をインジェクションできるか？
• RQ5 提案手法は、既存の例証ベースの画像変換手法と比較して、どれほどリアルさとスタイル忠実度で優れているか？

主な発見

• CelebA-HQでFréchet Inception Distance（FID）が13.15に達し、ベースラインのSPADE（31.50）および他の最先端手法を著しく上回った。
• Swin Distance（SWD）が14.91にまで低下し、生成画像と実画像の間の分布的類似性が向上したことを示した。
• LPIPSスコアが0.213に達し、実画像との高い知覚的類似性を示した。また、30%のユーザー調査で好まれる率も確認された。
• アブレーションスタディにより、アダプティブマス学習を備えたUOTは、誤ったマッチングや多数対一マッチングを低減し、古典的最適輸送を上回る性能を発揮することが確認された。
• マルチステージ輸送とSEACEコンponentsは、定性的なアブレーションスタディから、テクスチャの保持とスタイルの一貫性に顕著な寄与をしていることが示された。
• CelebA-HQやDeepFashionを含む複数のデータセットで、UNITEは優れた多様性とリアルさを示し、例証への忠実なスタイル転送を実現した。

Figure 2: The framework of our proposed network: The Conditional Input and Exemplar are fed to feature extractors $F_{X}$ and $F_{Z}$ to extract feature vectors $X$ and $Z$ . The mass (or weight) of the feature vectors ( $\alpha$ and $\beta$ masses) are then determined collectively by $X$ and $Z$ .