[論文レビュー] Private-Shared Disentangled Multimodal VAE for Learning of Hybrid Latent Representations

Mihee Lee, Vladimir Pavlović|arXiv (Cornell University)|Dec 23, 2020

Topic Modeling参考文献 12被引用数 9

ひとこと要約

本稿では、Gumbel-Softmaxと正規分布を用いたハイブリッド連続的・離散的表現を通じて、複数のモダリティ間でプライベートおよび共有潜在空間を分離する、分離可能なマルチモーダル変分オートエンコーダ（DMVAE）を提案する。このモデルは、画像-属性ベンチマークにおいて半教師あり学習性能を向上させ、特にデータの不均衡が生じる状況でもMVAEを上回る精度とF1スコアを達成する。

ABSTRACT

Multi-modal generative models represent an important family of deep models, whose goal is to facilitate representation learning on data with multiple views or modalities. However, current deep multi-modal models focus on the inference of shared representations, while neglecting the important private aspects of data within individual modalities. In this paper, we introduce a disentangled multi-modal variational autoencoder (DMVAE) that utilizes disentangled VAE strategy to separate the private and shared latent spaces of multiple modalities. We specifically consider the instance where the latent factor may be of both continuous and discrete nature, leading to the family of general hybrid DMVAE models. We demonstrate the utility of DMVAE on a semi-supervised learning task, where one of the modalities contains partial data labels, both relevant and irrelevant to the other modality. Our experiments on several benchmarks indicate the importance of the private-shared disentanglement as well as the hybrid latent representation.

研究の動機と目的

• 既存のマルチモーダルVAEが共有表現にのみ注目し、モダリティ固有のプライベート要因を無視するという限界を是正すること。
• マルチモーダルデータにおけるプライベートおよび共有潜在空間の明示的分離を通じて、分離可能な表現学習を可能にすること。
• Gumbel-Softmaxと正規分布を用いて、連続的および離散的両方の潜在要因をモデル化することで、カテゴリカル属性とのより良い整合性を実現すること。
• ラベルの一部しか利用できない状況、特にラベルの不一致や不均衡が生じる状況における半教師あり学習を向上させること。
• 分離とハイブリッド表現が、生成性能および予測性能を顕著に向上させることを検証すること。

提案手法

• 各モダリティに対して別個のエンコーダおよびデコーダを採用し、プライベート潜在表現を学習する一方で、製品の専門家（PoE）推論ネットワークを介して共有表現を推論する。
• 潜在要因間の独立性を促進するため、VAEの目的関数に全相関（TC）正則化を適用して分離を強制する。
• 離散的潜在要因は、カテゴリカル属性（例：顔貌特徴）に適した微分可能なサンプリングを可能にするGumbel-Softmaxリラクゼーションを用いてモデル化する。
• 連続的潜在要因は、再パrameterizationを可能にする均等分散正規分布でモデル化し、標準的なVAE学習を可能にする。
• エンドツーエンドのフレームワークとして、再構成と分離のための別個の損失項を含むハイブリッドVAE目的関数を用いて、プライベート・共有・分離可能な潜在表現を同時に最適化する。
• クロス生成は、一方のモダリティから得た共有潜在変数を他方のモダリティに転送することで実現され、ゼロショット属性転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 プライベートおよび共有潜在空間の明示的分離が、半教師あり設定におけるマルチモーダル表現学習を改善できるか？
• RQ2 共有およびプライベート要因の分離が、マルチモーダル生成および分類タスクの性能に与える影響は何か？
• RQ3 連続的および離散的両方の潜在要因をハイブリッドでモデル化することで、マルチモーダルデータにおけるカテゴリカル属性との整合性が向上するか？
• RQ4 DMVAEはMVAEと比較して、データの不均衡やラベルの部分的可用性がある状況下でも優れた性能を示すか？
• RQ5 全相関による分離の強制が、学習された要因の解釈可能性および分離度にどの程度寄与するか？

主な発見

• DMVAEは、18の顔貌属性すべてにおいてMVAEを上回る分類精度とF1スコアを達成しており、ペairedデータが増加するにつれて性能が向上する。
• MVAEは100%ペアデータでF1スコアが低下する一方で、DMVAEは性能が継続的に向上するため、データの不均衡に対してより頑健であることが示された。
• 定性的な合成結果から、アイデンティティや背景を保持したまま、ターゲット属性のみを変更できる優れた属性転送品質を達成している。
• アブレーションスタディにより、離散的潜在要因が性能向上に顕著に寄与しており、顔貌属性のカテゴリカル性と整合していることが確認された。
• TC正則化重みを増加させることで共有潜在変数の分離度が向上し、分類精度が上昇した。これにより、分離の重要性が裏付けられた。
• Gumbel-Softmaxの使用により、離散的要因の有効な学習が可能となり、ハイブリッド連続的・離散的表現がモデルの表現力と性能を向上させた。