[논문 리뷰] Dizygotic Conditional Variational AutoEncoder for Multi-Modal and Partial Modality Absent Few-Shot Learning

Yi Zhang, Sheng Huang외 2명|arXiv (Cornell University)|2021. 06. 28.

Geophysical Methods and Applications참고 문헌 52인용 수 6

한 줄 요약

이 논문은 소수의 샘플만 있는 경우에 효과적으로 작동하는 다중 모odal 데이터 증강 방법으로, 공유된 시드를 가진 두 개의 조건부 VAE를 서로 다른 모달 조건(예: 시각적 및 의미적)으로 짝지어 상호보완적으로 작용하는 Dizygotic Conditional Variational AutoEncoder (DCVAE)를 제안한다. 이 방법은 두 모달리티의 특징을 적응적으로 융합하여 고품질의 합성 샘플을 생성하며, miniImageNet, CIFAR-FS, CUB에서 부분적인 모달리티가 누락된 상황에서도 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Data augmentation is a powerful technique for improving the performance of the few-shot classification task. It generates more samples as supplements, and then this task can be transformed into a common supervised learning issue for solution. However, most mainstream data augmentation based approaches only consider the single modality information, which leads to the low diversity and quality of generated features. In this paper, we present a novel multi-modal data augmentation approach named Dizygotic Conditional Variational AutoEncoder (DCVAE) for addressing the aforementioned issue. DCVAE conducts feature synthesis via pairing two Conditional Variational AutoEncoders (CVAEs) with the same seed but different modality conditions in a dizygotic symbiosis manner. Subsequently, the generated features of two CVAEs are adaptively combined to yield the final feature, which can be converted back into its paired conditions while ensuring these conditions are consistent with the original conditions not only in representation but also in function. DCVAE essentially provides a new idea of data augmentation in various multi-modal scenarios by exploiting the complement of different modality prior information. Extensive experimental results demonstrate our work achieves state-of-the-art performances on miniImageNet, CIFAR-FS and CUB datasets, and is able to work well in the partial modality absence case.

연구 동기 및 목표

• 소수 샘플 학습에서 단일 모달리티 데이터 증강의 한계를 해결하기 위해, 생성된 특징이 다양성이 떨어지고 사전 지식이 부족한 문제를 해결한다.
• 시각적 및 의미적 모달리티 정보의 상호보완성을 활용하여 저데이터 환경에서 특징 품질과 일반화 능력을 향상시킨다.
• 대표성과 기능 모두에서 원본 조건과 생성된 조건 간의 일致성을 유지하는 견고한 프레임워크를 개발한다.
• 부분적인 모달리티가 없는 경우나 다중 모달 상황과 같은 도전적인 데이터 구성에서도 효과적인 소수 샘플 학습을 가능하게 한다.
• 단일 모달리티나 단순 다중 모달 융합 방식보다 우월한 성능을 보이는 새로운 생성 학습 패러다임을 다중 모달 데이터 합성에 제공한다.

제안 방법

• DCVAE는 동일한 난수 시드를 공유하지만 서로 다른 모달리티(시각적 및 의미적) 조건에 따라 훈련되는 두 개의 조건부 변분 오토인코더(CVAE)를 활용하여 이중 조건부 상호보완 관계를 형성한다.
• 각 CVAE는 각기 다른 모달리티 조건에 따라 합성 특징을 생성한다: 하나는 시각 입력에 기반하고, 다른 하나는 의미적 기술에 기반한다.
• 적응형 혼합 메커니즘이 두 개의 생성된 특징을 융합하여 최종 하이브리드 합성 특징을 생성하며, 각 모달리티 기여도를 학습된 가중치로 조정한다.
• 조건 순환 일치 모듈은 최종 합성 특징이 원본 조건(시각적 및 의미적)을 높은 정확도로 재구성할 수 있도록 보장하여 표현 및 기능적 일치성을 확보한다.
• 모델는 재구성 손실, KL 발산, 순환 일치 손실을 조합한 손실 함수를 사용하여 엔드 투 엔드로 훈련되며, 원본 조건과 생성된 조건 간의 정렬을 강제한다.
• 이 프레임워크는 다양한 모달리티 구성(전체, 단일, 부분적으로 누락된 모달리티 포함)에서 표준 소수 샘플 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 공유된 무작위성과 다른 모달리티 조건을 갖는 이중 조건부 VAE 아키텍처가 소수 샘플 학습에서 특징의 다양성과 품질을 향상시키는가?
• RQ2 다중 모달 특징의 적응적 융합 방식이 소수 샘플 분류에서 단일 모달리티 또는 단순 연결 기반 조건부 설정보다 어떻게 성능이 뛰어나게 되는가?
• RQ3 제안된 방법이 시각적 또는 의미적 입력이 누락된 경우와 같은 부분적인 모달리티 부재 상황에서도 얼마나 잘 일반화되는가?
• RQ4 순환 일치 모듈이 원본 조건과 생성된 조건 간의 기능적 및 표현적 일치성을 효과적으로 유지하는가?
• RQ5 제안된 방법이 miniImageNet, CIFAR-FS, CUB와 같은 다양한 소수 샘플 학습 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• DCVAE는 miniImageNet, CIFAR-FS, CUB 데이터셋에서 전체 및 부분 모달리티 설정 모두에서 기존 방법보다 최신 기술 수준(SOTA) 성능을 달성한다.
• 의미 조건 CVAE는 5-way 1-shot 학습에서 단일 모달리티 CVAE보다 1.69% 높은 정확도를 기록하여 저샷 환경에서 의미 정보의 중요성을 입증한다.
• 동일한 5-way 1-shot 설정에서 시각 조건 CVAE는 단일 모달리티 CVAE 대비 5.90% 높은 정확도를 기록하여 다중 모달 조건부 설정의 이점을 입증한다.
• 하이브리드 합성 특징 $\hat{x}$ 가 가장 높은 정확도를 기록했으며, $x_s + \hat{x}$ 조합이 $x_v + \hat{x}$ 보다 0.72% 높은 성능을 보여 의미 특징이 1샷 학습에서 더 큰 영향을 미친다는 것을 시사한다.
• 모든 모달리티 설정에서 DCVAE의 합성 특징 중심과 실제 프로토타입 간의 평균 유클리드 거리는 CVAE보다 일관되게 낮아, 더 나은 특징 일반화 능력을 확인한다.
• 순환 일치 모듈은 최종 합성 특징이 원본 시각적 및 의미적 조건을 모두 고정밀도로 재구성할 수 있음을 보장하여 모델의 일致성과 견고성을 검증한다.