[논문 리뷰] A Comparison of Synthetic Oversampling Methods for Multi-class Text Classification

Anna Glazkova|arXiv (Cornell University)|2020. 08. 11.

Text and Document Classification Technologies인용 수 14

한 줄 요약

이 논문은 KNN, SVM 및 신경망(FNN, LSTM, BLSTM)을 사용한 다중 분류 텍스트 분류에서 합성 오버샘플링 기법(SMOTE, Borderline SMOTE, ADASYN, 랜덤 오버샘플링)을 평가한다. 다양한 텍스트 표현 방식을 사용한 결과, ADASYN과 SMOTE는 특히 딥러닝 모델에서 소수 클래스의 F1 점수와 재현율을 크게 향상시키는 것으로 나타났다. 반면 KNN과 SVM는 클래스 불균형에 더 민감한 것으로 나타났다.

ABSTRACT

The authors compared oversampling methods for the problem of multi-class topic classification. The SMOTE algorithm underlies one of the most popular oversampling methods. It consists in choosing two examples of a minority class and generating a new example based on them. In the paper, the authors compared the basic SMOTE method with its two modifications (Borderline SMOTE and ADASYN) and random oversampling technique on the example of one of text classification tasks. The paper discusses the k-nearest neighbor algorithm, the support vector machine algorithm and three types of neural networks (feedforward network, long short-term memory (LSTM) and bidirectional LSTM). The authors combine these machine learning algorithms with different text representations and compared synthetic oversampling methods. In most cases, the use of oversampling techniques can significantly improve the quality of classification. The authors conclude that for this task, the quality of the KNN and SVM algorithms is more influenced by class imbalance than neural networks.

연구 동기 및 목표

• 다중 분류 텍스트 분류 과제에서 클래스 불균형을 완화하는 데 합성 오버샘플링 기법의 효과를 평가하는 것.
• KNN, SVM, 피드포워드 네트워크, LSTM, 양방향 LSTM과 같은 다양한 기계학습 모델에 대한 오버샘플링의 영향을 비교하는 것.
• 다양한 텍스트 표현 방식(Bag-of-Words, TF-IDF, Word2Vec)이 오버샘플링 기법과 어떻게 상호작용하는지 분석하는 것.
• 딥러닝 모델이 KNN 및 SVM과 같은 전통적 모델보다 클래스 불균형에 덜 민감한지 확인하는 것.

제안 방법

• 소수 클래스를 균형 있게 만들기 위해 랜덤 오버샘플링, SMOTE, Borderline SMOTE, ADASYN의 네 가지 오버샘플링 기법을 적용하였다.
• 각 오버샘플링 기법을 KNN, SVM, 피드포워드 신경망(FNN), LSTM, 양방향 LSTM(BLSTM)의 다섯 가지 분류 알고리즘과 조합하였다.
• 세 가지 텍스트 표현 방식을 사용: Bag-of-Words, TF-IDF, Word2Vec(선형 및 시퀀스 기반 표현).
• 오버샘플링에 대한 다양한 k값(75% 및 100%)을 기반으로 정확도, F1 점수, 정밀도, 재현율 등의 표준 지표를 사용해 성능을 평가하였다.
• 불균형한 클래스 분포를 보이는 생애사진 텍스트 분류 데이터셋에서 실험을 수행하였다.
• 모델 및 표현 방식에 대한 오버샘플링 민감도를 평가하기 위해 다양한 구성에서 결과를 보고하였다.

실험 결과

연구 질문

• RQ1 합성 오버샘플링 기법(SMOTE, ADASYN, Borderline SMOTE, 랜덤 오버샘플링)은 다중 분류 텍스트 분류에서 분류 성능에 어떻게 영향을 미치는가?
• RQ2 클래스 불균형이 존재할 경우, KNN, SVM, FNN, LSTM, BLSTM 중 어떤 기계학습 모델이 오버샘플링에서 가장 많은 이점을 얻는가?
• RQ3 다양한 텍스트 표현 방식(Bag-of-Words, TF-IDF, Word2Vec)은 오버샘플링 기법과 성능 향상 측면에서 어떻게 상호작용하는가?
• RQ4 기존 모델(KNN, SVM)과 딥러닝 모델(LSTM, BLSTM) 간에 오버샘플링으로 인한 성능 향상의 정도가 유의미하게 다를까?
• RQ5 모델, 텍스트 표현 방식, 오버샘플링 방법의 조합 중에서 소수 클래스의 F1 점수와 재현율을 가장 높게 끌어올리는 조합은 무엇인가?

주요 결과

• ADASYN은 k=100%에서 Word2Vec(시퀀스)와 BLSTM 조합으로 F1 점수 71.53%와 재현율 91.32%를 기록하여 다른 방법들을 능가하였다.
• SMOTE는 k=100%에서 TF-IDF와 KNN 조합으로 F1 점수 70.79%와 재현율 90.08%를 기록하여 기존 모델에서 뛰어난 성능을 보였다.
• KNN과 SVM는 클래스 불균형에 가장 민감했으며, 오버샘플링 없이 F1 점수가 60% 이하로 떨어지는 경우가 있었다. 반면 딥 네트워크는 더 높은 내구성을 유지하였다.
• BLSTM에 ADASYN을 적용한 결과, Word2Vec(시퀀스)에서 F1 점수 83.91%, 재현율 85.19%를 기록하여 딥 모델이 적응형 오버샘플링에서 크게 유리함을 보였다.
• 랜덤 오버샘플링은 모든 모델에서 일관되게 성능을 향상시켰지만, 특히 소수 클래스의 F1 및 재현율 측면에서 SMOTE와 ADASYN에 뒤지지 않았다.
• Word2Vec(시퀀스)와 ADASYN의 조합이 가장 우수한 전체 성능을 보였으며, k=100%에서 BLSTM에서 정확도 82.28%, F1 점수 78.16%를 기록하였다.