[論文レビュー] Conditional generation of multi-modal data using constrained embedding space mapping

Subhajit Chaudhury, Sakyasingha Dasgupta+3 more|arXiv (Cornell University)|Jul 4, 2017

Video Analysis and Summarization参考文献 11被引用数 5

ひとこと要約

本稿では、制約付き埋め込み空間マッピングを介して、テキスト、音声、画像といったマルチモーダルデータを共有潜在空間にマップする条件付き生成モデルを提案する。これにより、未学習のテキストまたは音声入力から未観測の画像概念を高品質に生成可能となる。各モダリティごとに別個の変分オートエンコーダー（VAE）を学習し、潜在表現同士の距離を最小化する目的関数により、それらの潜在表現の類似性を強制することで、高い汎化性能を達成した。その結果、未学習の2桁MNISTおよび色付きMNISTの生成において、高いPSNRスコアが得られた。

ABSTRACT

We present a conditional generative model that maps low-dimensional embeddings of multiple modalities of data to a common latent space hence extracting semantic relationships between them. The embedding specific to a modality is first extracted and subsequently a constrained optimization procedure is performed to project the two embedding spaces to a common manifold. The individual embeddings are generated back from this common latent space. However, in order to enable independent conditional inference for separately extracting the corresponding embeddings from the common latent space representation, we deploy a proxy variable trick - wherein, the single shared latent space is replaced by the respective separate latent spaces of each modality. We design an objective function, such that, during training we can force these separate spaces to lie close to each other, by minimizing the distance between their probability distribution functions. Experimental results demonstrate that the learned joint model can generalize to learning concepts of double MNIST digits with additional attributes of colors,from both textual and speech input.

研究の動機と目的

• 未学習の概念の組み合わせ（例：新しい数字-色ペア）へのクロスモダリティ生成の一般化を解決すること。
• 共有された意味的潜在空間を学習することで、未学習のテキストまたは音声埋め込みからの画像の条件付き生成を可能にすること。
• 直接回帰手法がぼやけた、平均に近い画像再構成を生じるという限界を乗り越えるために、分離された構造的潜在表現を活用すること。
• 推論を分離可能にするために、プロキシ潜在空間のテクニックを用いた、双方向生成（例：テキスト→画像、音声→画像）をサポートするフレームワークを設計すること。

提案手法

• 本手法は、まず、各モダリティ（画像、テキスト、音声）に対して、変分オートエンコーダー（VAE）を用いて低次元で意味的意味を持つ埋め込みを学習する。
• 制約付き最適化手順により、個々のモダリティ固有の埋め込み空間を、潜在表現同士の距離を最小化するように、共通の潜在多様体に投影する。
• プロキシ変数のテクニックにより、単一の共有潜在空間を各モダリティごとの別個の潜在空間に置き換え、独立した条件付き推論を可能にしながらも、整合性を維持する。
• 目的関数は、オートエンコーディングの再構成損失（L2およびL3）と、異なるモダリティの潜在分布の距離損失（L1）を組み合わせたものである。
• 本モデルは、勾配の確率的勾配降下法を用いてエンドツーエンドで学習され、主な革新点は再構成とクロスモダリティ整合性の共同最適化にある。
• 推論段階では、あるモダリティ（例：テキストまたは音声）の潜在表現を、共有潜在空間を介した逆写像により、対応する画像に変換する。

実験結果

リサーチクエスチョン

• RQ1 共有潜在空間を活用することで、未学習のテキストまたは音声埋め込みから対応する画像を生成する統合生成モデルは、可能であるか？
• RQ2 本モデルは、学習データに存在しない新しい数字と色の組み合わせに対して、どの程度一般化できるか？
• RQ3 モダリティ固有の潜在表現同士の類似性を強制することで、直接回帰手法に比べて生成品質が向上するか？
• RQ4 プロキシ潜在空間のテクニックは、クロスモダリティ整合性を維持しつつ、どの程度独立した条件付き生成を可能にするか？
• RQ5 オートエンコーダーのアーキテクチャの選択（例：畳み込み型 vs. MLP）は、マルチモーダル生成における再構成忠実度および一般化性能にどのように影響するか？

主な発見

• 畳み込み型VAEを用いたモデルは、未学習のテキスト埋め込みから2桁MNIST画像を生成する際、最高のPSNR（18.72）を達成し、直接回帰法を著しく上回った。
• 音声から画像への生成においても、畳み込み型オートエンコーダーは、未学習の色付き2桁MNISTに対してPSNRが17.91に達し、新しい音声-視覚的組み合わせへの強力な一般化を示した。
• 直接回帰ベースラインは、分離された潜在表現が欠落しているため、ぼやけた平均に近い画像を生成し、未学習の数字ペアに対してPSNRが12.45にとどまった。
• 提案手法は、未学習の数字-色ペアの明確でシャープな画像を効果的に生成でき、ゼロショットの組み合わせへの一般化が成功したことを示した。
• 定性的な結果から、本手法は新しいキャプションや音声入力から意味的意味を持つ画像を生成できる一方、ベースラインは変動を捉えられず、平均化された出力を生成することがわかった。
• 制約付き埋め込み空間マッピングの活用により、双方向の条件付き生成が可能になり、定量的（PSNR）および定性的（画像品質）両面で一般化性能が向上した。