[論文レビュー] Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models

Yuge Shi, Brooks Paige+2 more|arXiv (Cornell University)|Jul 2, 2020

Multimodal Machine Learning Applications参考文献 31被引用数 10

ひとこと要約

本稿では、関連するマルチモーダルペアと関連のないペアを区別することで、データ効率を向上させるための対照的学習フレームワークを提案する。関連ペアでは相互情報量を最大化し、関連のないペアでは最小化する対照的損失を用いて訓練することで、全データベースの20%のデータのみを用いても、全データベースのベースラインと同等の性能を達成する。また、ラベルなしの非ペアデータから関連するサンプルを正確に特定することも可能である。

ABSTRACT

Multimodal learning for generative models often refers to the learning of abstract concepts from the commonality of information in multiple modalities, such as vision and language. While it has proven effective for learning generalisable representations, the training of such models often requires a large amount of "related" multimodal data that shares commonality, which can be expensive to come by. To mitigate this, we develop a novel contrastive framework for generative model learning, allowing us to train the model not just by the commonality between modalities, but by the distinction between "related" and "unrelated" multimodal data. We show in experiments that our method enables data-efficient multimodal learning on challenging datasets for various multimodal VAE models. We also show that under our proposed framework, the generative model can accurately identify related samples from unrelated ones, making it possible to make use of the plentiful unlabeled, unpaired multimodal data.

研究の動機と目的

• マルチモーダル生成モデルが通常、大量のペア化された関連データに依存するという高いデータ要件に対処すること。
• 関連するペアと関連のないペアの違いを活用することで、高価でアノテーションの施されたマルチモーダルデータへの依存度を低減すること。
• 性能を損なわせることなく、マルチモーダル VAE のトレーニングにおけるデータ効率を向上させること。
• 学習済みの関連性信号を用いて、ラベルなしの非ペアマルチモーダルデータから関連するサンプルを同定できるようにすること。
• 関連性に基づく対照的学習が、多様なモデルやデータセットにわたる表現学習と一般化を改善することを示すこと。

提案手法

• モダリティ x と y の関連性をモデル化するためのベルヌーイ確率変数 r を導入し、r=1 は関連ペア、r=0 は関連のないペアを示す。
• r=1 の場合に x と y 間のポイントワイズ相互情報量（PMI）を高め、r=0 の場合に低くする対照的損失を設計する。
• 潜在変数 z と関連性インジケータ r を用いた変分推論フレームワークを用いて生成モデルを訓練し、関連性とコンテンツの共同モデリングを可能にする。
• x と y の間の PMI をスコアとして用い、非ペアマルチモーダルデータにおける関連ペアの同定を可能にする。これにより、追加のトレーニングなしにラベル伝搬が可能である。
• 複数の VAE アーキテクチャ（例：MMVAE、cI-MMVAE、cC-MMVAE）に対照的目的関数を適用し、複数のデータセットと指標で評価する。
• 生成モデルの PMI 評価値を活用してエンドツーエンドの関連性予測を実行し、別個のシアンプルネットワークの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 関連するペアと関連のないペアを区別する対照的学習目的関数が、マルチモーダル VAE のデータ効率を向上させることができるか？
• RQ2 対照的関連性学習で訓練された生成モデルが、関連データの20%のみを用いても、性能を全データベースのベースラインと同等に維持できるか、その程度は？
• RQ3 生成モデルの PMI 評価値のみを用いて、非ペアでラベルなしのマルチモーダルデータから関連ペアを正確に同定できるか？
• RQ4 対照的フレームワークが、異なるアーキテクチャやデータセットにわたってマルチモーダル表現のロバスト性と一般化性能を向上させるか？
• RQ5 変分推論推定器の選択（例：IWAE 対 CUBO）が、関連性予測および生成性能に与える影響は？

主な発見

• 提案された対照的フレームワークは、複数のモデルとデータセットで、関連データの20%のみを用いても、全データベースのベースラインと同等の性能を達成する。
• 対照的モデルの PMI 評価値を用いたラベル伝搬は、特にデータが限られた状況で顕著に性能を向上させる。cI-MMVAE は10%のデータで全データベースのベースラインと同等の性能を達成する。
• cI-MMVAE は非ペアデータにおける関連性予測で最高の F1 スコア（0.84）を達成し、シアンプルベースラインおよび cC-MMVAE を上回る。
• 対照的損失により、生成モデルが関連性を暗黙的に学習でき、追加のトレーニングなしに PMI のしきい値による関連ペアの直接同定が可能になる。
• cC-MMVAE は CUBO 推定器の高いバイアスにより性能が劣る。これは、IWAE や CUBO のような低分散の下界推定器が、この対照的設定においてより効果的であることを示唆する。
• ベースラインモデル（MMVAE および cC-MMVAE）はラベル伝搬を適用すると性能が低下するが、これは cI-MMVAE フレームワークが有する独自の利点を強調する。