[논문 리뷰] Deep Over-sampling Framework for Classifying Imbalanced Data

Shin Ando, Chun Huang|arXiv (Cornell University)|2017. 04. 25.

Imbalanced Data Classification Techniques참고 문헌 27인용 수 22

한 줄 요약

이 논문은 컨volutional 네트워크의 특징 공간에서 합성 임bedding을 생성함으로써 불균형 데이터에서의 딥 표현 학습과 분류 성능을 향상시키는 새로운 프레임워크인 Deep Over-sampling (DOS)을 제안한다. 각 클래스 내 이웃을 기반으로 유도된 합성 타겟을 반복적으로 사용하여 네트워크를 훈련시킴으로써, DOS는 클래스 내 분산을 감소시켜 소수 클래스와 다수 클래스 모두의 성능을 향상시키며, 불균형 및 균형 임계값에서 일관된 성능 향상을 보인다.

ABSTRACT

Class imbalance is a challenging issue in practical classification problems for deep learning models as well as traditional models. Traditionally successful countermeasures such as synthetic over-sampling have had limited success with complex, structured data handled by deep learning models. In this paper, we propose Deep Over-sampling (DOS), a framework for extending the synthetic over-sampling method to exploit the deep feature space acquired by a convolutional neural network (CNN). Its key feature is an explicit, supervised representation learning, for which the training data presents each raw input sample with a synthetic embedding target in the deep feature space, which is sampled from the linear subspace of in-class neighbors. We implement an iterative process of training the CNN and updating the targets, which induces smaller in-class variance among the embeddings, to increase the discriminative power of the deep representation. We present an empirical study using public benchmarks, which shows that the DOS framework not only counteracts class imbalance better than the existing method, but also improves the performance of the CNN in the standard, balanced settings.

연구 동기 및 목표

• 이미지와 같은 복잡하고 구조화된 데이터에서의 클래스 불균형 문제를 다루기.
• 비선형 표현으로 인해 기존 오버샘플링 방법이 딥 특징 공간에서 실패하는 한계를 극복하기.
• 구조적 수정 없이도 불균형 환경에서 분류기 성능과 딥 표현 품질을 향상시키기.
• 기본적인 데이터 증강을 초월해 딥 특징 공간에서의 합성 지도 학습이 분류의 판별 능력을 향상시킬 수 있는지 조사하기.
• 다양한 불균형 수준과 균형 조건에서 여러 공개 벤치마크를 통해 프레임워크의 효과성을 검증하기.

제안 방법

• 클래스 레이블에 대한 표준 크로스 엔트로피 손실과 특징 공간 내 합성 타겟으로의 딥 특징 회귀를 위한 새로운 손실을 함께 사용하여 CNN을 훈련한다.
• 각 입력 샘플의 딥 특징 공간 내 k개의 최근접 이웃이 생성하는 선형 부분공간에서 샘플링하여 합성 타겟을 생성한다.
• 반복적 훈련 프로세스를 사용: 먼저 실제 데이터로 CNN을 훈련한 후, 현재 임베딩을 사용해 합성 타겟을 업데이트하고, 업데이트된 타겟을 사용해 네트워크를 재훈련한다.
• 임베딩이 클래스 평균 주변으로 더 격차 있게 군집하도록 명시적으로 표현 학습을 지도함으로써 클래스 내 분산을 감소시킨다.
• 표준 CNN 아키텍처를 유지하며, 표현과 분류를 위한 이중 헤드 지도 학습 메커니즘을 추가하기만 한다.
• 합성 샘플의 인덕티브 바이어스를 제어하기 위해, 선형 부분공간을 정의하는 데 사용되는 이웃 수인 k를 제어한다.

실험 결과

연구 질문

• RQ1 기존의 딥 러닝 및 오버샘플링 방법과 비교해 복잡한 이미지 데이터셋에서 딥 특징 공간 내 합성 오버샘플링이 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 프레임워크는 단순히 분류기 정확도 향상 초월해 학습된 딥 표현의 판별 능력을 향상시키는가?
• RQ3 합성 타겟 생성을 위한 k-최근접 이웃 선택에서 k의 선택에 따라 프레임워크 성능이 얼마나 민감한가?
• RQ4 균형 임계값 설정에서도 DOS의 이점이 관찰될 수 있는가? 이는 일반화 능력 향상과 표현 학습 향상의 증거가 될 수 있다.
• RQ5 합성 타겟과 네트워크 가중치의 반복적 개선이 더 강력하고 클래스에 대해 판별 능력이 뛰어난 특징 임베딩을 도출하는가?

주요 결과

• DOS는 불균형 벤치마크에서 표준 CNN과 클래스 균형을 고려한 CNN-CL보다 유의미하게 뛰어나며, 특히 소수 클래스의 F1 및 AUC에서 두드러진 성능 향상을 보였다.
• 90% 불균형인 MNIST-bak-rot 데이터셋에서 DOS(k=5)는 소수 클래스에 대해 F1 0.82, AUC 0.84를 기록했고, CNN-CL은 각각 0.42와 0.78를 기록했다.
• 90% 불균형인 SVHN에서 DOS(k=5)는 소수 클래스에 대해 F1 0.64, AUC 0.80를 기록했고, CNN-CL은 각각 0.37과 0.61을 기록했다.
• 균형 임계값 설정(SVHN, CIFAR-10, STL-10)에서도 DOS는 표준 CNN 대비 F1 점수를 0.01~0.03 향상시켰으며, 모든 데이터셋과 k 값에서 일관된 성능 향상을 보였다.
• k 값에 따른 민감도가 매우 낮았으며, k=3, 5, 10에서 성능 차이가 미미하여 하이퍼파라미터 선택에 대한 강건성을 보였다.
• 표준 CNN 대비 런타임이 11–32% 증가했으며, SVHN에서 가장 높은 오버헤드를 보였고, 이는 상당한 성능 향상에 비해 중간 수준의 계산 비용을 유발한다.