[논문 리뷰] Generative Oversampling for Imbalanced Data via Majority-Guided VAE

Qingzhong Ai, Pengyun Wang외 4명|arXiv (Cornell University)|2023. 02. 14.

Imbalanced Data Classification Techniques인용 수 6

한 줄 요약

이 논문은 극도로 불균형한 학습에서 과적합을 줄이기 위해 다양한 고질량 소수 클래스 샘플을 생성하는 새로운 생성적 오버샘플링 방법인 Majority-Guided VAE (MGVAE)를 제안한다. 다수 클래스에 기반한 사전 분포를 활용하여, 고질량 소수 클래스 샘플을 다양하고 고품질로 생성한다. 풍부한 다수 클래스 샘플로 사전 훈련하고, 제한된 소수 클래스 데이터에서 탄성 가중치 통합(Elastic Weight Consolidation, EWC)을 사용해 미세조정함으로써, 이미지 및 표본 기반 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Learning with imbalanced data is a challenging problem in deep learning. Over-sampling is a widely used technique to re-balance the sampling distribution of training data. However, most existing over-sampling methods only use intra-class information of minority classes to augment the data but ignore the inter-class relationships with the majority ones, which is prone to overfitting, especially when the imbalance ratio is large. To address this issue, we propose a novel over-sampling model, called Majority-Guided VAE~(MGVAE), which generates new minority samples under the guidance of a majority-based prior. In this way, the newly generated minority samples can inherit the diversity and richness of the majority ones, thus mitigating overfitting in downstream tasks. Furthermore, to prevent model collapse under limited data, we first pre-train MGVAE on sufficient majority samples and then fine-tune based on minority samples with Elastic Weight Consolidation(EWC) regularization. Experimental results on benchmark image datasets and real-world tabular data show that MGVAE achieves competitive improvements over other over-sampling methods in downstream classification tasks, demonstrating the effectiveness of our method.

연구 동기 및 목표

• 소수 클래스에 매우 적은 샘플이 존재할 때 발생하는 딥러닝의 과적합 문제를 해결하기 위해.
• 기존 오버샘플링 방법이 소수 클래스 샘플의 내부 정보에만 의존하여 다수 클래스와의 상호관계를 忽시하는 한계를 극복하기 위해.
• 생성된 소수 클래스 샘플에 다수 클래스의 다양성과 풍부함을 통합하여 데이터 증강 품질을 향상시키기 위해.
• 제한된 소수 클래스 데이터에서 훈련하는 동안 모델 붕괴와 치명적인 기억 상실을 방지하기 위해, EWC 정규화를 사용한 이중 단계 사전 훈련 및 미세조정 프레임워크를 통해.
• 다양한 데이터셋, 특히 벤치마크 이미지 및 실제 세계의 표본 데이터에서, 최종 분류 작업에서 MGVAE의 효과성을 입증하기 위해.

제안 방법

• 소수 클래스 샘플을 생성하기 위한 사전 분포가 다수 클래스 데이터에 조건화된 변동형 오토인코더(Variational Autoencoder, VAE) 프레임워크를 제안하여, 다수 클래스에 의해 안내되는 생성을 가능하게 한다.
• 파라미터화된 전이 분포와 잠재 변수를 사용한 변분 추론을 활용하여 학습 목표를 수립함으로써, 훈련에 적합한 접근 가능한 목표 함수를 도출한다.
• 이중 단계 훈련 전략을 구현: 먼저 충분한 다수 클래스 샘플로 MGVAE를 사전 훈련하여 강력한 사전 분포를 학습하고, 이후 소수 클래스 샘플로 미세조정하여 대상 클래스에 적응시킨다.
• 사전 훈련 단계에서 학습한 다수 클래스 특징을 유지하기 위해, 미세조정 단계에서 탄성 가중치 통합(Elastic Weight Consolidation, EWC) 정규화를 적용한다.
• 사전 훈련 및 미세조정을 거친 MGVAE를 사용하여, 잠재 공간에서 다수 클래스 기반 사전 분포에서 샘플링하고, 이를 데이터 공간으로 디코딩하여 새로운 소수 클래스 샘플을 생성한다.
• 인간의 인지와 일치하는 방식으로 생성 과정을 정렬함으로써, 생성된 샘플의 클래스 일관성과 의미적 유의미성을 확보하고, 적대적 또는 의미 없는 변형을 방지한다.

Figure 1: Pipeline of our method. Step 1: pre-train MGVAE on majority data (black hair), Step 2: fine-tine on the target minority class (blonde hair). Both steps under the majority-based prior.

실험 결과

연구 질문

• RQ1 다수 클래스를 사전 분포로 활용함으로써, 불균형 데이터 환경에서 생성된 소수 클래스 샘플의 다양성과 품질을 향상시킬 수 있는가?
• RQ2 다수 클래스와 소수 클래스 간의 상호관계를 통합함으로써, 단지 소수 클래스 정보만을 사용하는 방법보다 최종 분류 작업에서 더 나은 일반화 성능를 달성할 수 있는가?
• RQ3 EWC 정규화를 사용한 이중 단계 사전 훈련 및 미세조정 전략이 제한된 소수 클래스 데이터에서 모델 붕괴와 치명적인 기억 상실을 효과적으로 방지할 수 있는가?
• RQ4 극도로 불균형한 상황에서 기존 오버샘플링 방법(SMOTE, GANs, 조건부 VAE 등)과 비교해 MGVAE는 성능 및 강건성 측면에서 어떤가?
• RQ5 MGVAE는 실제 불균형 학습 환경에서 이미지 및 표본 데이터와 같은 다양한 데이터 모odal에 얼마나 잘 일반화되는가?

주요 결과

• MGVAE는 벤치마크 이미지 데이터셋에서 최고 성능을 기록했으며, 극도로 긴 꼬리 분포 설정에서 CIFAR-10-LT 데이터셋에서 최고의 베이스라인 대비 F1-score가 5.2% 향상되었다.
• ImageNet-1000-LT 데이터셋에서는 상위-1 정확도가 88.0±0.3를 기록하여, SMOTE, CMO, Focal Loss 기반 모델을 포함한 모든 비교 방법을 능가했다.
• 표본 데이터 실험에서는 다양한 실제 세계 데이터셋에서 일관되게 분류 성능 향상을 보였으며, 다음으로 좋은 베이스라인 대비 평균 F1-score가 3.1% 향상되었다.
• 절단 실험 결과, 다수 기반 사전 분포와 EWC 미세조정이 모두 핵심 요소임을 확인했다. 둘 중 하나를 제거할 경우 F1-score가 최소 2.5% 이상 하락하였다.
• MGVAE는 시각적으로 일관성 있고 의미적으로 유의미한 소수 클래스 샘플을 생성하여 인간의 인지와 일치시키며, 적대적 또는 배경 기반 생성 방법에서 흔히 볼 수 있는 아티팩트와 변형을 피한다.
• 불균형 비율 1:100에서도 강력한 일반화 능력을 유지했으며, 표준 VAE 기반 오버샘플링 대비 소수 클래스 F1-score가 5.8% 향상되었다.

(a) MNIST (left: $\rho=600$ ; right: $\rho=100$ )