[論文レビュー] Latent Normalizing Flows for Many-to-Many Cross-Domain Mappings

Shweta Mahajan, Iryna Gurevych+1 more|TUbilio (Technical University of Darmstadt)|Feb 16, 2020

Multimodal Machine Learning Applications参考文献 47被引用数 7

ひとこと要約

本論文では、正規化フローを用いて共有およびドメイン固有の情報を別々の潜在空間にモデル化する半教師ありフレームワークLNFMMを提案する。これにより、画像とテキスト間の多様で一対多のクロスドメイン変換が可能になる。正規化フローを用いてデータ依存の事前分布を学習することで、画像キャプション（Bleu、CIDEr）およびテキストから画像生成（IvOM、LPIPS）の両面で最先端の性能を達成し、精度と多様性の両面で先行手法を上回った。

ABSTRACT

Learned joint representations of images and text form the backbone of several important cross-domain tasks such as image captioning. Prior work mostly maps both domains into a common latent representation in a purely supervised fashion. This is rather restrictive, however, as the two domains follow distinct generative processes. Therefore, we propose a novel semi-supervised framework, which models shared information between domains and domain-specific information separately. The information shared between the domains is aligned with an invertible neural network. Our model integrates normalizing flow-based priors for the domain-specific information, which allows us to learn diverse many-to-many mappings between the two domains. We demonstrate the effectiveness of our model on diverse tasks, including image captioning and text-to-image synthesis.

研究の動機と目的

• 従来のモデルが潜在空間でガウス事前分布を強制することで生じる事後分布の崩壊や、クロスドメイン生成における多様性の低下という制限を解消すること。
• 共有される意味的情報を整列させつつドメイン固有の変動を保持することで、画像とテキスト間の多対多マッピングを可能にすること。
• クラスタリングやスタイルの追加の監視を必要とせず、潜在空間における複雑なマルチモーダルな同時分布を学習すること。
• 正規化フローによるデータ依存の事前分布をモデル化することで、画像キャプションおよびテキストから画像生成の両方で精度と多様性を向上させること。

提案手法

• モデルは潜在空間を共有（意味的）およびドメイン固有の成分に分離し、共有次元はペアド画像・テキストデータから学習される。
• ドメイン固有の変動は、残差潜在次元に適用された正規化フローによってモデル化され、複雑でデータ依存の事前分布が可能になる。
• 可逆な正規化フロー層により正確な尤度計算と効率的なサンプリングが可能となり、生成と推論の両方をサポートする。
• 条件付き変分オートエンコーダと正規化フロー事前分布を統合することで、ペアドデータとアンペアドデータからの半教師あり学習が可能になる。
• 画像デコーダにディスクライマーを統合することで、テキストから画像生成における画像品質が向上し、同時潜在空間を変更せずに実現される。
• アーキテクチャは双方向生成をサポートする：画像からテキスト、およびテキストから画像への変換が可能で、柔軟な事前分布のおかげで多様な出力が得られる。

実験結果

リサーチクエスチョン

• RQ1 正規化フローは、画像・テキストクロスドメイン生成のための潜在空間における複雑でマルチモーダルな同時分布を効果的にモデル化できるか？
• RQ2 正規化フローを用いてデータ依存の事前分布を学習することで、ガウス事前分布と比較して、画像キャプションにおける多様性と精度がどのように向上するか？
• RQ3 共有およびドメイン固有の潜在空間を有する半教師ありフレームワークは、追加の監視を必要とせずに、どの程度多対多マッピングを実現できるか？
• RQ4 提案手法は、多様性と忠実度の両面で、画像キャプションおよびテキストから画像生成の両方において最先端のモデルを上回るか？

主な発見

• COCOデータセットにおいて、LNFMMは画像キャプションでSOTA性能を達成し、CIDErスコアが128.7、Bleu-4スコアが86.3を記録し、先行手法を上回った。
• テキストから画像生成において、IvOMスコアは0.430、LPIPSは0.481に向上し、AttnGANよりも優れた多様性と真値との知覚的類似性を示した。
• LNFMMは、追加の監視を必要とせず、Inceptionスコア12.10 ± 0.18を達成し、HD-GAN（11.86）を上回った。
• 定性的な結果から、意味的・構文的に多様なキャプション、およびクローズアップや異なるオブジェクトの向きを含む、多様で意味的に正確な画像が生成された。
• スタイルやオブジェクトレベルのクラスタリングのガイド付き監視に依存せず、高品質で多様なサンプルが生成された。
• 正規化フローの使用により、複雑でマルチモーダルな事前分布の効果的なモデル化が可能となり、事後分布の崩壊を回避し、高忠実度で多様な生成が実現された。