[논문 리뷰] Early Classification of Time Series. Cost-based Optimization Criterion and Algorithms

Youssef Achenchabe, Alexis Bondu외 2명|arXiv (Cornell University)|2020. 05. 20.

Time Series Analysis and Forecasting참고 문헌 14인용 수 7

한 줄 요약

이 논문은 오류 분류 위험과의 근형을 고려하여 결정의 조기성과 균형을 이루는 비미래주의적(cost-based) 최적화 프레임워크를 제안한다. 감독 기반 신뢰도 그룹화와 새로운 평균 비용 기준을 활용하여, 제안된 Economy 알고리즘은 다양한 실세계 데이터셋과 지연 비용 함수에서 최신 기술인 미리보는(myopic) 방법들을 뛰어넘는 성능을 보인다.

ABSTRACT

An increasing number of applications require to recognize the class of an incoming time series as quickly as possible without unduly compromising the accuracy of the prediction. In this paper, we put forward a new optimization criterion which takes into account both the cost of misclassification and the cost of delaying the decision. Based on this optimization criterion, we derived a family of non-myopic algorithms which try to anticipate the expected future gain in information in balance with the cost of waiting. In one class of algorithms, unsupervised-based, the expectations use the clustering of time series, while in a second class, supervised-based, time series are grouped according to the confidence level of the classifier used to label them. Extensive experiments carried out on real data sets using a large range of delay cost functions show that the presented algorithms are able to satisfactorily solving the earliness vs. accuracy trade-off, with the supervised-based approaches faring better than the unsupervised-based ones. In addition, all these methods perform better in a wide variety of conditions than a state of the art method based on a myopic strategy which is recognized as very competitive.

연구 동기 및 목표

• 의료 및 전력망과 같은 고위험 응용 분야에서 실시간 시계열 분류의 조기성과 정확성 간의 상충 관계를 해결한다.
• 오분류 비용과 지연 비용을 모두 고려하는 일반적인 비용 기반 최적화 기준을 정식화한다.
• 미래의 정보 수확을 예측하여 최적의 조기 결정 시점 선택을 위한 비미래주의 알고리즘을 개발한다.
• 실제 데이터셋과 다양한 지연 비용 함수를 사용하여 제안된 프레임워크를 최신 기술 방법과 비교 평가한다.
• 비미래주의적 의사결정과 감독 기반 대비 비감독 기반 그룹화 전략의 영향을 조사한다.

제안 방법

• 오분류 비용과 지연 비용을 하나의 목적 함수로 통합하는 일반적인 비용 기반 최적화 기준을 제안한다.
• 군집화(비감독)와 분류기 신뢰도(감독)를 기반으로 미래의 결정 비용을 추정하기 위해 세 가지 비미래주의 알고리즘—Economy-K, Economy-multi-K, 그리고 Economy-γ—을 설계한다.
• 학습 시에는 전체 시계열 데이터가 이용 가능하지만 테스트 시에는 부분적인 데이터만 이용 가능한 LUPI(Learning Under Privileged Information) 프레임워크를 적용한다.
• 기대 향후 비용 감소와 현재의 지연 비용을 고려하여 즉시 분류할지 또는 기다릴지를 평가하는 예측 전략을 구현한다.
• 전체 테스트 세트에 걸쳐 오분류 비용과 지연 비용의 총합을 요약하는 새로운 평가 지표인 AvgCost를 정의한다.
• 메서드 간 및 비용 함수 간 성능 비교를 통계적으로 분석하기 위해 Wilcoxon 부호 순위 검정과 Nemenyi 검정을 적용한다.

실험 결과

연구 질문

• RQ1 미래의 정보 수확을 예측하는 비미래주의적 의사결정 전략이 조기 시계열 분류에서 미리보는 전략보다 뛰어난 성능을 낼 수 있는가?
• RQ2 비감독 기반 군집화와 감독 기반 신뢰도 기반 그룹화 중 어떤 선택이 분류 성능과 조기성에 영향을 미치는가?
• RQ3 제안된 비용 기반 최적화 기준은 기존 방법 대비 조기성과 정확성의 균형을 얼마나 향상시키는가?
• RQ4 제안된 알고리즘의 비미래주의적 성격이 뛰어난 성능을 이끄는 핵심 요인인가?
• RQ5 제안된 알고리즘은 다양한 지연 비용 함수와 실세계 데이터셋에 대해 얼마나 강인한가?

주요 결과

• 제안된 비미래주의적 Economy 알고리즘은 모든 테스트 데이터셋과 지연 비용 함수에서 최신 기술인 Mori 등(2017)의 미리보는 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 감독 기반 접근 방식(Economy-γ 및 Economy-γ-lite)은 비감독 기반 대비(Economy-K 및 Economy-multi-K) 평균 비용 감소 측면에서 일관되게 뛰어난 성능을 보였다.
• 비미래주의적 성격이 필수적임을 입증: Economy 알고리즘의 미리보는 변형은 Mori 등(2017)의 기준 방법과 성능이 동일하여, 향후 비용을 예측하는 것이 성능 향상에 핵심임을 시사한다.
• 통계적 검정(Wilcoxon 부호 순위 검정) 결과, 모든 α 값에서 SR 방법보다 Economy 접근 방식이 유의미하게 뛰어나며, 유일한 예외는 가장 극단적인 지연 비용 영역(α ∈ {10⁻⁴, 2×10⁻⁴, 4×10⁻⁴})에서였다.
• Nemenyi 검정 결과, 최고 성능을 낸 Economy 접근 방식은 SR 방법과 통계적으로 다를 바 있는 그룹에 속해 있어 그 뛰어난 성능을 확인했다.
• 제안된 AvgCost 지표는 조기성과 정확성 간의 상충 관계를 효과적으로 포착하여 신뢰할 수 있고 종합적인 방법 비교를 가능하게 했다.