[논문 리뷰] DeepSMOTE: Fusing Deep Learning and SMOTE for Imbalanced Data

Damien Dablain, Bartosz Krawczyk외 1명|arXiv (Cornell University)|2021. 05. 05.

Digital Media Forensic Detection인용 수 4

한 줄 요약

DeepSMOTE는 고급 이미지 데이터에서의 클래스 불균형 문제를 해결하기 위해 SMOTE를 딥 러닝 기반의 오토인코더 프레임워크와 융합한 새로운 오버샘플링 방법을 제안한다. 저차원 임베딩을 학습하고 잠재 공간에서 SMOTE를 적용함으로써, 구분자(Discriminator)가 필요 없이 소수 클래스의 표현을 향상시켜, 정확도, 내구성, 시각적 품질 측면에서 GAN 기반 및 픽셀 기반 방법을 능가한다.

ABSTRACT

Despite over two decades of progress, imbalanced data is still considered a significant challenge for contemporary machine learning models. Modern advances in deep learning have magnified the importance of the imbalanced data problem. The two main approaches to address this issue are based on loss function modifications and instance resampling. Instance sampling is typically based on Generative Adversarial Networks (GANs), which may suffer from mode collapse. Therefore, there is a need for an oversampling method that is specifically tailored to deep learning models, can work on raw images while preserving their properties, and is capable of generating high quality, artificial images that can enhance minority classes and balance the training set. We propose DeepSMOTE - a novel oversampling algorithm for deep learning models. It is simple, yet effective in its design. It consists of three major components: (i) an encoder/decoder framework; (ii) SMOTE-based oversampling; and (iii) a dedicated loss function that is enhanced with a penalty term. An important advantage of DeepSMOTE over GAN-based oversampling is that DeepSMOTE does not require a discriminator, and it generates high-quality artificial images that are both information-rich and suitable for visual inspection. DeepSMOTE code is publicly available at: https://github.com/dd1github/DeepSMOTE

연구 동기 및 목표

• 복잡한 데이터(예: 이미지)에서 지속적인 클래스 불균형 문제를 해결한다.
• 모드 붕괴 문제에 취약한 GAN 기반 방법과 의미적 이해가 부족한 픽셀 기반 방법의 한계를 극복한다.
• 원시 이미지에서 종단간 작동하는 방법을 개발하여, 시각적으로 현실적인 인공 인스턴스를 생성하고 소수 클래스의 일반화 능력을 향상시킨다.
• 생성된 데이터가 고품질이면서 해석 가능하도록 보장하여, 시각적 점검과 극단적인 불균형 비율에서도 안정성을 확보한다.
• 실제 응용에 적합한 단순하고 안정적이며 조정 가능한 솔루션을 제공한다.

제안 방법

• 원시 이미지 데이터의 저차원이고 의미 있는 표현을 학습하기 위해 인코더/디코더 기반 오토인코더 아키텍처를 사용한다.
• 학습된 잠재 공간에서 SMOTE 기반 오버샘플링을 적용하여 k개의 최근접 이웃 간의 보간을 통해 합성 소수 클래스 샘플을 생성한다.
• 표현 학습 및 일반화 성능 향상을 유도하기 위해 벌점 항목이 포함된 전용 손실 함수를 통합한다.
• 훈련된 인코더를 사용해 실제 및 합성 샘플을 동일한 잠재 공간에 매핑함으로써 전체 파ipeline의 종단간 훈련을 가능하게 한다.
• 실제 데이터의 의미적 및 구조적 특성을 유지하면서 고해상도의 인공 이미지를 디코더에서 생성한다.
• 구분자가 필요 없는, 통합적이고 미분 가능한 방식으로 전체 시스템을 훈련한다. 이는 GAN 기반 방법과는 다릅니다.

실험 결과

연구 질문

• RQ1 SMOTE는 깊이 있는 오토인코더 프레임워크에 효과적으로 통합되어 다양한 불균형 비율을 가진 데이터에 대해 고품질의 합성 이미지를 생성할 수 있는가?
• RQ2 제안된 DeepSMOTE 방법은 분류 정확도와 내구성 측면에서 최신의 픽셀 기반 및 GAN 기반 오버샘플링 기법을 능가하는가?
• RQ3 DeepSMOTE는 시각적으로 신뢰할 수 있고 정보가 풍부한 인공 이미지를 생성하여, 시각적 점검 및 후속 딥 러닝 작업에 적합한가?
• RQ4 기존 방법과 비교해 DeepSMOTE는 극단적인 클래스 불균형 비율과 소규모 샘플 수 상황에서 어떻게 성능을 발휘하는가?
• RQ5 구분자가 없는 것이 딥 러닝 기반 오버샘플링에서 훈련 안정성과 일반화 능력을 얼마나 향상시키는가?

주요 결과

• DeepSMOTE는 다양한 불균형 비율을 가진 여러 벤치마크 데이터셋에서 최신의 GAN 기반 및 픽셀 기반 오버샘플링 방법보다 분류 정확도에서 뚜렷한 승리를 거두었다.
• 메서드는 실제 이미지와 시각적으로 구분되지 않는 고품질의 합성 이미지를 생성하여 효과적인 시각적 점검과 의미 있는 데이터 증강을 가능하게 하였다.
• DeepSMOTE는 극단적인 클래스 불균형과 소규모 샘플 수에 대해 뛰어난 내구성을 보이며, 다양한 데이터 분포에서 안정적인 성능 유지를 유지하였다.
• 구분자가 없어져 GAN 기반 방법에서 흔히 발생하는 모드 붕괴 문제가 제거되어 보다 일관되고 신뢰할 수 있는 합성 샘플 생성이 가능했다.
• 간단하고 투명한 아키텍처를 통해 종단간 훈련을 달성하였으며, 기존 딥 러닝 파이프라인에 쉽게 통합할 수 있는 플러그인 솔루션으로서의 적용이 용이하였다.
• 합성 인스턴스를 클래스 경계 근처에 배치시킴으로써 딥 모델의 분류 능력을 향상시켜, 잠재 공간 내의 결정 경계 학습을 개선했다.