[論文レビュー] Multimodal Generative Models for Scalable Weakly-Supervised Learning

Mike Wu, Noah D. Goodman|arXiv (Cornell University)|Feb 14, 2018

Multimodal Machine Learning Applications参考文献 22被引用数 150

ひとこと要約

本論文は MVAE を紹介します。これは product-of-experts 推論ネットワークとサブサンプリング訓練を用いたマルチモーダル variational autoencoder で、欠損データを伴う任意のモダリティ間の結合分布を学習し、より少ないパラメータで最先端の性能を達成し、弱教師あり学習を可能にします。

ABSTRACT

Multiple modalities often co-occur when describing natural phenomena. Learning a joint representation of these modalities should yield deeper and more useful representations. Previous generative approaches to multi-modal input either do not learn a joint distribution or require additional computation to handle missing data. Here, we introduce a multimodal variational autoencoder (MVAE) that uses a product-of-experts inference network and a sub-sampled training paradigm to solve the multi-modal inference problem. Notably, our model shares parameters to efficiently learn under any combination of missing modalities. We apply the MVAE on four datasets and match state-of-the-art performance using many fewer parameters. In addition, we show that the MVAE is directly applicable to weakly-supervised learning, and is robust to incomplete supervision. We then consider two case studies, one of learning image transformations---edge detection, colorization, segmentation---as a set of modalities, followed by one of machine translation between two languages. We find appealing results across this range of tasks.

研究の動機と目的

• データが複数の同時発生モダリティとして得られる場合に、共同のマルチモーダル表現を学ぶ動機づけ。
• 欠損データを伴う多数のモダリティにスケールする効率的な推論方式を開発する。
• 単一モダリティデータを活用して結合分布を導くことで、弱教師あり学習の下で学習を可能にする。
• ビジョン-言語や変換など、多様なデータセットとケーススタディでこのアプローチを示す。

提案手法

• z を共有潜在変数とするマルチモーダル VAE を、z に条件付けて独立なモダリティとして定式化する。
• 観測モダリティの任意のサブセットを扱えるよう、単一モダリティ事後分布を用いた先行専門家を含む、PoE 後方分布 q(z|X) を導出する。
• 事前分布と単一モダリティ後方分布の双方がガウス分布である場合の PoE のガウス閉形式を提供する。
• 欠損データと訓練効率を管理するため、全モーダル、単一モダリティ、およびランダムなマルチモーダル部分集合の一部に対して ELBO 項を最適化するサブサンプリング訓練目的を導入する。
• 現れるモダリティに関係なく、同じ単一モダリティエンコーダを再利用できるよう、モダリティ組み合わせ間でパラメータを共有する。
• 部分的にペアリングされたデータで学習し、それを弱教師あり学習タスクに用いることで、未完全な監視に対する頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 MVAE は、欠損データを伴う複数モダリティにわたる一つの共通推論構造を用いて、整合的な結合分布を学習できるか。
• RQ2 product-of-experts 推論は、他のマルチモーダル推論スキームに比べて安定性と性能を向上させるか。
• RQ3 例の一部のみが完全にマルチモーダルである場合、弱教師ありで MVAE はどのように性能するか。
• RQ4 MVAE は多数のモダリティにスケールし、さまざまなタスクで有用な結合表現を学習できるか。

主な発見

• MVAE は MNIST、bin arized MNIST、MultiMNIST、FashionMNIST、CelebA で、より少ないパラメータで最先端の性能を達成する。
• 18+ のモダリティ（CelebA 属性を別モダリティとして扱う）で、共有統計的強さの恩恨を受ける。
• MVAE は変換（カラー化、エッジ検出、セグメンテーションなど）をモダリティとみなすことで、ジョイントなマルチモーダルトランスフォーメーションを効果的に学習する。
• 弱教師ありの下で、MVAE はベースラインを上回り、中規模データ領域では完全教師ありモデルと競争力を維持する。
• MVAE は欠損モダリティに対して頑健で、限られた対になるデータしかない言語間の翻訳の学習をサポートする（弱教師あり翻訳）。
• 分散分析は、MVAE が以前の結合モーダルモデルより重要度重みの分散を低く達成し、推論ネットワークがより強力であることを示している。