[論文レビュー] Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification

Junwen Bai, Shufeng Kong+1 more|arXiv (Cornell University)|Dec 2, 2021

Text and Document Classification Technologies参考文献 49被引用数 14

ひとこと要約

本稿では、ラベルと特徴量の埋め込みを共有のマルチモodalな潜在空間にモデル化する、対照学習を組み込んだガウス混合変分オートエンコーダ（C-GMVAE）を提案する。非モodalな事前分布をガウス混合に置き換え、埋め込みの整合性を保つために対照学習損失を用いることで、C-GMVAEは事後分布の崩壊と過剰正則化を軽減し、9つのデータセットで全データの50%未満の学習データで、最新のモデルと同等の性能を達成する。

ABSTRACT

Multi-label classification (MLC) is a prediction task where each sample can have more than one label. We propose a novel contrastive learning boosted multi-label prediction model based on a Gaussian mixture variational autoencoder (C-GMVAE), which learns a multimodal prior space and employs a contrastive loss. Many existing methods introduce extra complex neural modules like graph neural networks to capture the label correlations, in addition to the prediction modules. We find that by using contrastive learning in the supervised setting, we can exploit label information effectively in a data-driven manner, and learn meaningful feature and label embeddings which capture the label correlations and enhance the predictive power. Our method also adopts the idea of learning and aligning latent spaces for both features and labels. In contrast to previous works based on a unimodal prior, C-GMVAE imposes a Gaussian mixture structure on the latent space, to alleviate the posterior collapse and over-regularization issues. C-GMVAE outperforms existing methods on multiple public datasets and can often match other models' full performance with only 50% of the training data. Furthermore, we show that the learnt embeddings provide insights into the interpretation of label-label interactions.

研究の動機と目的

• 非モダールな事前分布をマルチモーダルなガウス混合構造に置き換えることで、多ラベル分類のための変分オートエンコーダにおける事後分布の崩壊と過剰正則化を解消すること。
• GNN や共分散行列といった複雑なモジュールに依存せずに、ラベルの相関関係をモデル化することを目的とし、ラベル埋め込みにおける対照学習を活用すること。
• 特徴量とラベルの埋め込みを、分離可能で滑らかで意味的に意味のあるものに、共同潜在空間の整合性を保つことで学習すること。
• 少ないデータでも高い性能を発揮できることを示し、低データ環境下での一般化性能とデータ効率を実証すること。
• 特に生態学的応用において、学習済みの埋め込み類似度を通じてラベル同士の相互作用の解釈可能性を提供すること。

提案手法

• C-GMVAEは、マルチモーダルなデータ分布をモデル化するため、潜在空間にガウス混合事前分布を採用し、過剰正則化と事後分布の崩壊を軽減する。
• 特徴量とラベルの潜在分布を共有の潜在空間内で整合させるために、KLダイバージェンスを用いた変分オートエンコーダフレームワークを採用する。
• ラベル埋め込みに対して対照学習を適用し、共起するラベル同士を引き寄せ、関係のないラベル同士を遠ざける対照損失を用いる。
• 特徴量とラベルの再構成損失に加え、表現の整合性を図るための対照損失とKLダイバージェンス損失を併用し、同時に最適化する。
• 特徴量とラベルの埋め込みは別個のエンコーダで学習され、共有のデコーダを介してマルチラベル出力を予測する。
• 再構成損失、KLダイバージェンス損失、対照損失の複数の損失成分を含む、確率的勾配降下法を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造や共分散行列といった明示的な構造を必要としない条件下でも、対照学習は多ラベル分類におけるラベル相関関係を効果的にモデル化できるか？
• RQ2 潜在空間にガウス混合事前分布を用いることで、非モダールなガウス事前分布と比較して、事後分布の崩壊と過剰正則化が軽減されるか？
• RQ3 C-GMVAEは、学習データの50%のみで、最新のモデルと同等の性能を達成できるか？
• RQ4 学習済みのラベル埋め込みは、ラベル間の意味的で生態学的な関係を反映しているか？
• RQ5 トリプレット損失やランク損失と比較して、対照損失は特徴量とラベルの表現品質を向上させられるか？

主な発見

• C-GMVAEは9つの公開データセットで5つの指標において既存手法を上回り、最先端の性能を達成した。
• 平均して、C-GMVAEはASL手法よりもex-F1で5.3%、mi-F1で4.4%、ma-F1で6.1%の向上を示した。
• 学習データの50%のみを用いても、全データで学習された他の最先端モデルと同等の性能を達成した。
• 対照学習モジュール単体でも、GNNベースや共分散行列ベースのモジュールを上回るラベル相関関係のモデル化性能を示した。
• 学習済みのラベル埋め込みは、eBirdデータセットのヒートマップに示されるように、水鳥、森林鳥、住宅地鳥といった意味的なグループ化を明らかにした。
• アブレーションスタディの結果、ガウス混合事前分布と対照損失の両方が不可欠であることが確認され、C-GMVAEは非モダールVAEに比べてma-F1で7%の向上を示した。