[論文レビュー] Geometric Multimodal Contrastive Representation Learning

Petra Poklukar, Miguel Vasco+4 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本論文は、モダリティ固有のエンコーダーと共有プロジェクションヘッドを備えた二段階のニューラルネットワークフレームワークである幾何的マルチモーダル対応学習（GMC）を提案する。このフレームワークは、新しい対応損失を用いて、モダリティ固有の表現と完全なマルチモーダル表現を、共有潜在空間内で幾何的に整合させる。GMCは、表現学習、予測、強化学習のタスクにおいて、欠損モダリティが発生する状況下でも最先端の性能を達成しており、ベースラインと比較して最大90％もパラメータを削減する計算効率の高さも兼ね備えている。

ABSTRACT

Learning representations of multimodal data that are both informative and robust to missing modalities at test time remains a challenging problem due to the inherent heterogeneity of data obtained from different channels. To address it, we present a novel Geometric Multimodal Contrastive (GMC) representation learning method consisting of two main components: i) a two-level architecture consisting of modality-specific base encoders, allowing to process an arbitrary number of modalities to an intermediate representation of fixed dimensionality, and a shared projection head, mapping the intermediate representations to a latent representation space; ii) a multimodal contrastive loss function that encourages the geometric alignment of the learned representations. We experimentally demonstrate that GMC representations are semantically rich and achieve state-of-the-art performance with missing modality information on three different learning problems including prediction and reinforcement learning tasks.

研究の動機と目的

• テスト時に欠損モダリティに耐性を持つ、意味的に豊かで堅牢なマルチモーダル表現を学習する課題に対処すること。
• 視覚、言語、音声などの異なるモダリティが異なるデータ分布を持つという、マルチモーダル表現学習における異種ギャップを克服すること。
• 共有潜在空間内で、モダリティ固有の表現と完全なマルチモーダル表現を幾何的に整合させる手法を開発すること。
• 推論時にモダリティが欠損する状況下でも、予測や強化学習などの下流タスクにおける堅牢性を確保すること。
• 部分観測状況下で、既存の生成ベースおよび統合ベースのモデルを上回る汎用性、効率性、統合可能性を備えたフレームワークを構築すること。

提案手法

• GMCフレームワークは二段階のアーキテクチャを採用する：モダリティ固有のベースエンコーダーが個々のモダリティを固定次元の中間表現に変換し、その後、共有プロジェクションヘッドがそれらを共有潜在空間にマッピングする。
• モダリティ固有の表現 $z_1, z_2$ とそれに対応する完全な表現 $z_{1:2}$ を、潜在空間内で明示的に整合させるために、新しいマルチモーダル対応損失関数 $\mathcal{L}_{\text{GMC}}$ が導入される。
• 対応損失は、正例ペア（整合されたモダリティ固有表現と完全表現）と負例ペア（異なるサンプルからの表現）を用い、幾何的整合性と意味的一致性を促進する。
• 任意の数のモダリティにスケーラブルであり、既存のモデルに大規模なアーキテクチャの見直しを施さずに統合可能である。
• NT-XEntにインspiredされた温度スケーリング付きの対応目的関数を採用し、温度ハイパーパrameter $\tau$ が対応分布の鋭さを制御する。
• 共有プロジェクションヘッドは対応損失とともに端末から端末まで訓練され、意味的に豊かで堅牢な表現を学習可能となる。

実験結果

リサーチクエスチョン

• RQ1 対応学習フレームワークが、欠損モダリティ状況下での堅牢性を向上させるために、モダリティ固有の表現と完全なマルチモーダル表現を幾何的に整合させることができるか？
• RQ2 モダリティが欠損する状況下で、GMCはMVAEやMMVAEなどの生成ベースモデルや、MFMやマルチモーダルトランスフォーマーなどの統合ベースモデルと比較して、性能と堅牢性においてどのように差をつけるか？
• RQ3 GMCは、ゼロショットの欠損モダリティ状況下で、予測や強化学習などの下流タスクにおいて、どの程度の性能を維持するか？
• RQ4 GMCの性能は、温度 $\tau$ や表現次元 $d$ および $s$ などのハイパーパrameterにどの程度感受するか？
• RQ5 GMCは、同等のモデルと比較して著しく少ないパラメータで最先端の性能を達成できるか？これにより、効率性の向上が示唆されるか？

主な発見

• GMCは、欠損モダリティ情報がある状況下でも、MVAE や MUSE などのベースラインをすべての評価タスクで上回る最先端の性能を達成する。
• ペンドルム強化学習タスクにおいて、GMCは、推論時にモダリティが欠損する状況下でも、完全な情報を持つエージェントと同等のゼロショット転送性能を達成する。
• GMCは、温度 $\tau$ や表現次元 $d$ および $s$ といったさまざまなハイパーパrameterの下でも、高い性能と幾何的整合性（DCAスコアで測定）を維持する。
• GMCは、最小のベースラインモデルと比較して最大90％もパラメータを削減しており、顕著な計算効率の高さを示している。
• アブレーションスタディの結果、GMCはハイパーパrameterの変動に対して堅牢であり、完全観測を負例ペアとして使用することは性能を低下させることを確認しており、対応損失の設計が妥当であることが裏付けられた。
• UMAP可視化の結果、MVAE や MMVAE、Nexus、MUSE、MFM とは異なり、GMCのみが、モダリティ固有表現と完全表現が幾何的に整合された表現を学習していることが明らかになった。