[論文レビュー] Generative Models of Visually Grounded Imagination

Ramakrishna Vedantam, Ian Fischer+2 more|arXiv (Cornell University)|May 30, 2017

Multimodal Machine Learning Applications参考文献 21被引用数 50

ひとこと要約

この論文は、画像と属性記述を共同でモデル化する変分オートエンコーダを拡張し、部分的に指定された概念からの生成を可能にする新規 TELBO 目的と a product-of-experts 推論ネットワークを用い、MNIST-AとCelebAで3C（正確性、カバレッジ、構成性）の評価を行う。

ABSTRACT

It is easy for people to imagine what a man with pink hair looks like, even if they have never seen such a person before. We call the ability to create images of novel semantic concepts visually grounded imagination. In this paper, we show how we can modify variational auto-encoders to perform this task. Our method uses a novel training objective, and a novel product-of-experts inference network, which can handle partially specified (abstract) concepts in a principled and efficient way. We also propose a set of easy-to-compute evaluation metrics that capture our intuitive notions of what it means to have good visual imagination, namely correctness, coverage, and compositionality (the 3 C's). Finally, we perform a detailed comparison of our method with two existing joint image-attribute VAE methods (the JMVAE method of Suzuki et.al. and the BiVCCA method of Wang et.al.) by applying them to two datasets: the MNIST-with-attributes dataset (which we introduce here), and the CelebA dataset.

研究の動機と目的

• 抽象的または部分的に指定された属性概念から画像を生成できるように、共同の画像属性VAEフレームワークを用いる。
• ペアデータ用の新規訓練目的（TELBO）と、完全観測および部分観測入力に対応する柔軟な推論ネットワークを導入する。
• テスト時に属性が欠落していても、POEポスターリオで潜在表現を適切に条件づけることで安定させる。
• 生成画像の正確性、カバレッジ、構成性を定量化する客観的評価指標（3C）を提案する。
• MNIST-with-attributesとCelebAデータセットで既存の joint VAE 法と比較して改善を示す。

提案手法

• yを属性ベクトルとして表現し、p(x, y, z) = p(z) p(x|z) p(y|z) という結合生成モデルを定義する。
• 共有潜在空間を持つ画像デコーダと属性デコーダを共同訓練するために、TELBO（3つのELBOを最適化する）に拡張する。
• ペア付きデータと単一データの推論を可能にする3つの推論ネットワーク q(z|x,y), q(z|x), q(z|y) を使用する。
• 部分観測属性集合を扱うため、POEポスターリオ q(z|y_O) ∝ p(z) ∏_{k∈O} q(z|y_k) を実装する。
• デコーダを凍結しつつ単模態後方とデコーダを訓練し、TELBO項の結合最適化を可能にする。
• 属性に対する構成的抽象階層を導入し、異なる粒度で画像を生成する。
• 固定属性分類器に基づく評価指標（3C）を提案し、正確性、カバレッジ、構成性を評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル設定で、VAEsを画像と属性ベクトルを共同でモデリングするように拡張するにはどうすればよいか。
• RQ2 推論中に部分的に指定された（抽象的な）属性概念をPOEポスターリオが効果的に扱えるか。
• RQ3 提案されたTELBO目的は、抽象度の異なるレベルと欠損データを跨いだ堅牢な学習と生成を可能にするか。
• RQ4 正確性、カバレッジ、構成性の観点で視覚的に基づく想像力の品質をどのように定量化できるか。
• RQ5 提案手法は、MNIST-AやCelebAのようなベンチマークデータセットで既存のJoint VAE手法より優れているか。

主な発見

• TELBOベースのJVAEとPOE推論は、MNIST-AおよびCelebAでBiVCCAおよびJMVAEと比較して、正確性とカバレージで競争力がある、あるいは上回る。
• POEポスターリオは潜在空間の条件付けを適応的にする。属性が多いほど後方分布が狭くなり、多様でありながら正確な生成を可能にする。
• 3C（正確性、カバレージ、構成性）は、抽象概念からの条件付き画像生成を評価する実用的で客観的なフレームワークを提供する。
• MNIST-Aの実験は、TELBOとJMVAEが高品質で属性整合性のある画像を生成し、BiVCCAは出力がぼやけることを確認。
• このアプローチはテスト時の欠損データをサポートし、属性の完全性の違いに関係なく、安定したポストeriオルと妥当な生成を維持する。
• 関連するジョイントVAE手法と比較して、提案モデルは抽象度と構成的クエリの扱いがより優れており、より豊かな生成能力を示す。