[논문 리뷰] Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification

Junwen Bai, Shufeng Kong외 1명|arXiv (Cornell University)|2021. 12. 02.

Text and Document Classification Technologies참고 문헌 49인용 수 14

한 줄 요약

이 논문은 다중 레이블 분류를 위한 대비 학습을 통합한 가우시안 혼합 변동형 오토인코더(C-GMVAE)를 제안한다. 이 모델은 레이블과 특징 임베딩을 공유 다모달 잠재 공간에 통합적으로 모델링한다. 단모달 사전 분포를 가우시안 혼합 구조로 대체하고, 임베딩을 정렬하기 위해 대비 손실을 사용함으로써 C-GMVAE는 사후 붕괴와 과도한 정규화 문제를 완화하며, 9개의 데이터셋에서 전체 데이터의 50%만으로도 최신 기술 수준의 성능을 달성하고, 전체 데이터로 훈련된 모델의 정확도를 재현한다.

ABSTRACT

Multi-label classification (MLC) is a prediction task where each sample can have more than one label. We propose a novel contrastive learning boosted multi-label prediction model based on a Gaussian mixture variational autoencoder (C-GMVAE), which learns a multimodal prior space and employs a contrastive loss. Many existing methods introduce extra complex neural modules like graph neural networks to capture the label correlations, in addition to the prediction modules. We find that by using contrastive learning in the supervised setting, we can exploit label information effectively in a data-driven manner, and learn meaningful feature and label embeddings which capture the label correlations and enhance the predictive power. Our method also adopts the idea of learning and aligning latent spaces for both features and labels. In contrast to previous works based on a unimodal prior, C-GMVAE imposes a Gaussian mixture structure on the latent space, to alleviate the posterior collapse and over-regularization issues. C-GMVAE outperforms existing methods on multiple public datasets and can often match other models' full performance with only 50% of the training data. Furthermore, we show that the learnt embeddings provide insights into the interpretation of label-label interactions.

연구 동기 및 목표

• 단모달 사전 분포를 다모달 가우시안 혼합 구조로 대체하여 다중 레이블 분류를 위한 변동형 오토인코더에서 사후 붕괴와 과도한 정규화 문제를 해결한다.
• GNN이나 공분산 행렬과 같은 복잡한 모듈에 의존하지 않고, 레이블 임베딩에 대한 대비 학습을 통해 레이블 상관관계 모델링을 향상시킨다.
• 공유 잠재 공간에서의 정렬을 통해 분리된, 매끄럽고 의미 있는 특징 및 레이블 임베딩을 학습한다.
• 낮은 데이터 환경에서 일반화 능력과 샘플 효율성을 확보하기 위해 감소된 데이터로도 뛰어난 성능을 달성한다.
• 특히 생태학적 응용 분야에서 레이블 간 상호작용의 해석 가능성을 학습된 임베딩 유사도를 통해 제공한다.

제안 방법

• C-GMVAE는 잠재 공간에 가우시안 혼합 사전 분포를 도입하여 다모달 데이터 분포를 모델링함으로써 과도한 정규화와 사후 붕괴를 감소시킨다.
• 특징과 레이블의 잠재 분포를 공유된 잠재 공간에서 정렬하기 위해 KL 발산을 사용하는 변동형 오토인코더 프레임워크를 활용한다.
• 공동으로 발생하는 레이블은 가까이, 관련이 없는 레이블은 멀리 끌어당기는 대비 손실을 사용하여 레이블 임베딩에 대비 학습을 적용한다.
• 특징과 레이블의 재구성 손실, 그리고 표현 정렬을 위한 대비 손실과 KL 발산 손실을 함께 최적화한다.
• 특징과 레이블 임베딩은 별도의 인코더를 통해 학습되고, 공유 디코더를 통해 다중 레이블 출력을 예측한다.
• 재구성 손실, KL 발산 손실, 대비 손실의 다중 구성 요소를 포함한 확률적 경사 하강법을 사용해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 명시적인 그래프 또는 공분산 구조가 필요 없이 대비 학습이 다중 레이블 분류에서 레이블 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 잠재 공간에 가우시안 혼합 사전 분포를 사용할 경우, 단모달 가우시안 사전 분포보다 사후 붕괴와 과도한 정규화를 줄일 수 있는가?
• RQ3 C-GMVAE는 훈련 데이터의 50%만으로도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 학습된 레이블 임베딩이 레이블 간 의미 있는 의미적 및 생태학적 관계를 반영하는가?
• RQ5 대비 손실이 트리플릿 또는 랭킹 손실 대비 특징 및 레이블 표현의 품질을 향상시킬 수 있는가?

주요 결과

• C-GMVAE는 9개의 공개 데이터셋에서 5개의 지표에서 기존 방법들을 초월하여 최신 기술 수준의 성능을 달성한다.
• 평균적으로 C-GMVAE는 ASL 대비 ex-F1에서 5.3% 향상, mi-F1에서 4.4% 향상, ma-F1에서 6.1% 향상된다.
• 훈련 데이터의 50%만으로도 C-GMVAE는 전체 데이터로 훈련된 다른 최신 기술 수준의 모델과 동일한 성능을 달성한다.
• 대비 학습 모듈 자체만으로도 GNN 기반 및 공분산 행렬 기반 모듈보다 레이블 상관관계 모델링에서 뛰어난 성능을 보인다.
• 학습된 레이블 임베딩은 eBird 데이터셋 히트맵에서 물새, 숲새, 주거지 새와 같은 의미 있는 의미적 군집을 드러낸다.
• 단절 실험 결과에 따르면, 가우시안 혼합 사전 분포와 대비 손실 모두 필수적이며, C-GMVAE는 단모달 VAE보다 ma-F1에서 7% 향상된다.