[논문 리뷰] Cost-Sensitive Convolution based Neural Networks for Imbalanced Time-Series Classification

Yue Geng, Xinyu Luo|arXiv (Cornell University)|2018. 01. 13.

Time Series Analysis and Forecasting참고 문헌 33인용 수 23

한 줄 요약

이 논문은 시계열 분류에서의 클래스 불균형 문제를 해결하기 위해 비용 감수성 컨볼루션 신경망 프레임워크를 제안한다. 소수 클래스에 대해 적응적으로 더 높은 오분류 페널티를 부여함으로써, 이 방법은 불균형한 시계열 데이터셋에서 모델 성능을 향상시킨다. 실세계 데이터셋에서 비용 감수성 잔차 및 CNN 네트워크가 모든 메트릭에서 다른 모델들을 능가한다.

ABSTRACT

Some deep convolutional neural networks were proposed for time-series classification and class imbalanced problems. However, those models performed degraded and even failed to recognize the minority class of an imbalanced temporal sequences dataset. Minority samples would bring troubles for temporal deep learning classifiers due to the equal treatments of majority and minority class. Until recently, there were few works applying deep learning on imbalanced time-series classification (ITSC) tasks. Here, this paper aimed at tackling ITSC problems with deep learning. An adaptive cost-sensitive learning strategy was proposed to modify temporal deep learning models. Through the proposed strategy, classifiers could automatically assign misclassification penalties to each class. In the experimental section, the proposed method was utilized to modify five neural networks. They were evaluated on a large volume, real-life and imbalanced time-series dataset with six metrics. Each single network was also tested alone and combined with several mainstream data samplers. Experimental results illustrated that the proposed cost-sensitive modified networks worked well on ITSC tasks. Compared to other methods, the cost-sensitive convolution neural network and residual network won out in the terms of all metrics. Consequently, the proposed cost-sensitive learning strategy can be used to modify deep learning classifiers from cost-insensitive to cost-sensitive. Those cost-sensitive convolutional networks can be effectively applied to address ITSC issues.

연구 동기 및 목표

• 시계열 분류에서 클래스 불균형으로 인해 소수 클래스에서 성능이 떨어지는 문제를 해결하기 위해.
• 클래스 분포에 따라 오분류 페널티를 적응적으로 조정하는 비용 감수성 학습 전략을 개발하기 위해.
• 기존의 딥러닝 아키텍처(예: CNN, ResNet)를 수정하여 불균형한 시계열 데이터에서의 일반화 성능을 향상시키기 위해.
• 다양한 메트릭을 사용하여 대규모 실세계 불균형 시계열 데이터셋에서 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 학습 중 소수 클래스에 대해 더 높은 오분류 페널티를 적응적으로 할당하는 적응형 비용 감수성 학습 전략을 도입한다.
• 표준 딥러닝 모델을 수정하기 위해 백프로파게이션 과정에 클래스별 손실 가중치를 통합한다.
• 표준 CNN 및 잔차 네트워크를 포함한 다섯 가지 다른 신경망 아키텍처에 이 방법을 적용한다.
• 클래스 빈도를 기반으로 클래스 가중치를 계산하며, 부족한 클래스에 더 높은 페널티를 할당하여 기울기 업데이트의 편향을 보정한다.
• 비용 감수성 가중치를 통합한 수정된 교차 엔트로피 손실 함수를 사용하여 프레임워크를 엔드 투 엔드로 훈련한다.
• 주류 데이터 샘플링 기법(예: SMOTE, ADASYN)과의 조합에서도 모델을 평가한다.

실험 결과

연구 질문

• RQ1 비용 감수성 학습 전략은 불균형한 시계열 데이터셋에서 딥 네트워크의 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법은 시계열 분류에서 클래스 불균형을 다루는 데 있어 전통적인 데이터 샘플링 기법보다 나은가?
• RQ3 F1 점수와 AUC 메트릭 측면에서 어떤 딥러닝 아키텍처가 비용 감수성 적응에 가장 큰 이점을 얻는가?
• RQ4 실세계 대규모 시계열 데이터에 적용했을 때 비용 감수성 접근법은 강건성을 유지하는가?
• RQ5 제안된 방법은 기준 모델과 데이터 샘플링 및 딥러닝을 조합한 하이브리드 접근법을 모두 능가할 수 있는가?

주요 결과

• 비용 감수성 컨볼루션 신경망과 잔차 네트워크는 불균형한 시계열 데이터셋에서 여섯 가지 평가 메트릭 전반에서 최고의 성능을 기록했다.
• 비용 감수성 학습을 적용하지 않은 표준 딥러닝 모델에 비해 제안된 방법은 특히 소수 클래스 샘플을 식별하는 데서 뛰어난 성능을 보였다.
• 비용 감수성 접근법은 소수 클래스의 F1 점수와 AUC를 일관되게 향상시켜 희귀 사건에 대한 더 나은 일반화 능력을 보였다.
• 데이터 샘플링 기법과 조합했을 때 비용 감수성 모델은 추가적인 성능 향상을 보였으며, 이는 상호 보완적인 이점이 있음을 시사한다.
• 적응형 비용 감수성 전략은 대부분의 클래스에 대한 편향을 효과적으로 완화하여 부족한 클래스의 시계열 패턴에서 더 나은 학습을 가능하게 했다.