[論文レビュー] MixNMatch: Multifactor Disentanglement and Encoding for Conditional Image Generation

Yuheng Li, Krishna Kumar Singh+2 more|arXiv (Cornell University)|Nov 26, 2019

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 6

ひとこと要約

MixNMatch は、トレーニング中にバウンディングボックスのアノテーションのみを用いて、実画像から背景、オブジェクトのポーズ、形状、テクスチャを分離して符号化する条件付き生成モデルである。FineGAN の上に、敵対的で統合された画像・コード分布マッチングを適用することで、高精細なミックスアンドマッチ生成を実現し、スケッチ2カラー や img2gif などの多様な応用分野において、最先端の分離性能と制御可能な合成を達成している。

ABSTRACT

We present MixNMatch, a conditional generative model that learns to disentangle and encode background, object pose, shape, and texture from real images with minimal supervision, for mix-and-match image generation. We build upon FineGAN, an unconditional generative model, to learn the desired disentanglement and image generator, and leverage adversarial joint image-code distribution matching to learn the latent factor encoders. MixNMatch requires bounding boxes during training to model background, but requires no other supervision. Through extensive experiments, we demonstrate MixNMatch's ability to accurately disentangle, encode, and combine multiple factors for mix-and-match image generation, including sketch2color, cartoon2img, and img2gif applications. Our code/models/demo can be found at https://github.com/Yuheng-Li/MixNMatch

研究の動機と目的

• 実画像から背景、オブジェクトのポーズ、形状、テクスチャという4つの主要要因を分離することで、細分化された制御可能な画像生成を実現すること。
• 背景モデリングにバウンディングボックスのアノテーションのみを要する最小限の人的監視で、この分離を達成すること。
• 敵対的学習により、実画像と生成画像の統合的画像・コード分布を一致させることで、実画像と生成画像のドメインギャップを埋めること。
• スケッチ2カラー、カートゥーン2画像、img2gif などの多様な条件付き画像生成タスクを、分離された要因の制御によって実現すること。
• 学習された表現を用いて、分離性能とオブジェクトカテゴリのクラスタリングにおいて最先端の性能を示すこと。

提案手法

• 階層的な分離性能を持つ非条件付き生成モデルである FineGAN を拡張し、背景、ポーズ、形状、テクスチャの4つの要因に特化したエンコーダーを導入する。
• 実画像・コードペアと生成画像・コードペアの間で、ALI や BiGAN と同様に、敵対的な統合的画像・コード分布マッチングを採用することで、分離を強制する。
• 低次元の潜在コードを用いたコードモードと、高次元の特徴量を分離空間にマップする特徴モードを採用し、形状やポーズの詳細を保持する。
• 実画像特徴量と生成画像特徴量を一致させるペアド敵対的損失と、特徴モードにおける忠実度を確保する L1 再構成損失を適用する。
• トレーニングの安定化とコードモードにおける分離性能の向上を図るため、コード再予測損失とコード制約を導入する。
• パッチレベルの識別器を用いて背景をモデル化し、密度の高いアノテーションの必要性を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 バウンディングボックスの監視のみで、条件付き生成モデルが背景、ポーズ、形状、テクスチャという4つの主要な画像要因を分離できるか。
• RQ2 敵対的な統合的画像・コード分布マッチングは、強い監視がなくても、実画像の分離符号化をどの程度効果的に可能にするか。
• RQ3 異なる参照画像からの要因を組み合わせた際、MixNMatch が形状とテクスチャをどの程度正確に保持するか。
• RQ4 コードベースの符号化と比較して、特徴モードは分離の忠実度をどの程度向上させるか。
• RQ5 MixNMatch は、スケッチ2カラー や img2gif といった多様な応用分野において、高品質で制御可能な画像生成を実現できるか。

主な発見

• MixNMatch は、形状およびテクスチャの分離において、キーポoint L2 距離（16.29）と色ヒストグラム χ² 距離（0.565）が最低となり、Deforming AE や SC-GAN、FineGAN などのベースラインを上回った。
• MixNMatch の特徴モードは、形状分離において最高の性能（L2 距離 16.29）を達成し、コードモード（20.57）および他のベースラインを著しく上回った。
• アブレーションスタディの結果、特徴モードでは敵対的損失と L1 損失の両方が不可欠であり、コードモードではペアド敵対的損失が適切な分離を実現するために不可欠であることが判明した。
• MixNMatch は、細分化されたオブジェクトカテゴリクラスタリングにおいて、最先端の性能を達成し、その分離表現の質の高さを示した。
• 本モデルは、スケッチ2カラー、カートゥーン2画像、img2gif といった多様な応用分野を成功裏に実現し、高い視覚的忠実度と制御性を示した。
• ペアド敵対的損失がなければ、分離性能が著しく低下する（L2 距離：60.41）ことが確認され、ドメイン整合性を確保する上でその必要性が裏付けられた。