[논문 리뷰] Deep Synthetic Minority Over-Sampling Technique

Hadi Mansourifar, Weidong Shi|arXiv (Cornell University)|2020. 03. 22.

Imbalanced Data Classification Techniques참고 문헌 27인용 수 29

한 줄 요약

이 논문은 소수 클래스 샘플 간의 보간 패턴을 학습하기 위해 딥 뉴럴 네트워크를 훈련시켜 Synthetic Minority Over-sampling Technique (SMOTE)의 안정성을 향상시키는 Deep SMOTE를 제안한다. 무작위 보간 대신 모델이 쌍으로 구성된 입력 벡터에서 합성 샘플을 예측함으로써 더 일관되고 향상된 분류 성능을 얻을 수 있으며, 전통적인 SMOTE에 비해 여러 벤치마크에서 F1 점수, 정밀도, AUC에서 뚜렷한 향상이 이루어진다.

ABSTRACT

Synthetic Minority Over-sampling Technique (SMOTE) is the most popular over-sampling method. However, its random nature makes the synthesized data and even imbalanced classification results unstable. It means that in case of running SMOTE n different times, n different synthesized in-stances are obtained with n different classification results. To address this problem, we adapt the SMOTE idea in deep learning architecture. In this method, a deep neural network regression model is used to train the inputs and outputs of traditional SMOTE. Inputs of the proposed deep regression model are two randomly chosen data points which are concatenated to form a double size vector. The outputs of this model are corresponding randomly interpolated data points between two randomly chosen vectors with original dimension. The experimental results show that, Deep SMOTE can outperform traditional SMOTE in terms of precision, F1 score and Area Under Curve (AUC) in majority of test cases.

연구 동기 및 목표

• 기존 SMOTE의 무작위 보간 과정으로 인한 불안정성 문제를 해결하기 위해.
• 불균형 분류 작업에서 합성 소수 클래스 샘플 생성의 일관성과 신뢰성을 향상시키기 위해.
• 딥 러닝을 활용해 데이터 분포를 모델링하고 학습시켜 보다 효과적이고 안정적인 합성 샘플 생성을 위해.
• F1 점수, 정밀도, AUC와 같은 주요 분류 지표에서 표준 SMOTE를 능가하기 위해.
• 성능 변동성을 줄이고 런에 걸쳐 일관된 결과를 제공하는 무작위 SMOTE의 결정론적 대안을 제공하기 위해.

제안 방법

• 두 개의 입력 데이터 포인트를 기반으로 합성 소수 클래스 샘플을 예측하기 위해 딥 뉴럴 네트워크 회귀 모델을 훈련시킨다.
• 모델의 입력은 원래 차원의 두 배가 되는 단일 벡터로 연결된 두 개의 무작위 선택된 소수 클래스 샘플이다.
• 모델의 출력은 두 입력 벡터 사이에 보간된 합성 데이터 포인트이며, 원래의 특성 공간 차원을 유지한다.
• 예측된 보간점과 실제 보간점 간의 차이를 최소화하기 위해 회귀 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 훈련된 모델은 SMOTE의 무작위 보간 단계를 대체하여 여러 런에 걸쳐 일관된 합성 샘플 생성을 보장한다.
• SMOTE의 핵심 아이디어를 유지하되, 확률적 보간을 학습된 결정론적 회귀 과정으로 대체한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 SMOTE의 합성 샘플 생성 과정을 안정화시켜 런 간 성능 변동성을 줄일 수 있는가?
• RQ2 데이터에서 보간 패턴을 학습하는 것이 무작위 보간보다 더 나은 일반화 및 분류 성능을 이끌어내는가?
• RQ3 Deep SMOTE는 기존 SMOTE에 비해 F1 점수, 정밀도, AUC와 같은 핵심 지표를 얼마나 향상시키는가?
• RQ4 Deep SMOTE의 결정론적 성격이 불균형 분류 결과의 재현 가능성과 신뢰성에 어떤 영향을 미치는가?
• RQ5 Deep SMOTE의 성능 향상은 다양한 불균형 데이터셋에 걸쳐 일관되게 유지되는가?

주요 결과

• Deep SMOTE는 여러 테스트 케이스에서 F1 점수 측면에서 기존 SMOTE를 일관되게 능가한다.
• 이 방법은 표준 SMOTE보다 더 높은 정밀도를 달성하여 더 나은 양성 예측 정확도를 나타낸다.
• Deep SMOTE는 AUC 지표를 향상시켜 분류기의 분류 능력 향상을 시사한다.
• Deep SMOTE는 여러 런에 걸친 분류 결과의 분산을 줄여 무작위 SMOTE보다 더 높은 안정성을 보여준다.
• 딥 레이어 회귀 모델은 소수 클래스 분포에 더 잘 대응하는 합성 샘플을 생성하는 데 성공했다.
• 실험 결과는 Deep SMOTE의 결정론적 성격이 불균형 학습 시나리오에서 더 신뢰성 있고 재현 가능한 성능을 이끌어낸다는 것을 확인한다.