[논문 리뷰] An Evaluation of Classification and Outlier Detection Algorithms

Joanna Hodge, Jim Austin|arXiv (Cornell University)|2018. 05. 02.

Anomaly Detection Techniques and Applications참고 문헌 3인용 수 6

한 줄 요약

이 논문은 IoT 및 교통 분야의 실시간 다변량 시계열 데이터에서 온라인 분류 및 이상 탐지에 적합한 빠른 학습 알고리즘을 평가한다. 분류 작업에서는 Gradient Boosting Machines (GBM)이 10개 데이터셋 전반에서 가장 높은 정확도를 기록했으며, 이상 탐지에서는 단일 알고리즘이 항상 우월하지는 않았다. 그러나 GBM과 Random Forest (RF)는 균형 잡힌 데이터셋에서 뛰어난 성능을 보였으며, 극도로 불균형한 이상치 집합에서는 과적합 현상이 관찰되었다.

ABSTRACT

This paper evaluates algorithms for classification and outlier detection accuracies in temporal data. We focus on algorithms that train and classify rapidly and can be used for systems that need to incorporate new data regularly. Hence, we compare the accuracy of six fast algorithms using a range of well-known time-series datasets. The analyses demonstrate that the choice of algorithm is task and data specific but that we can derive heuristics for choosing. Gradient Boosting Machines are generally best for classification but there is no single winner for outlier detection though Gradient Boosting Machines (again) and Random Forest are better. Hence, we recommend running evaluations of a number of algorithms using our heuristics.

연구 동기 및 목표

• IoT 및 교통 분야에서의 실시간 다변량 시계열 데이터에서 온라인 분류 및 이상 탐지에 적합한 효율적이고 빠른 학습 알고리즘을 식별하기 위해.
• 라벨이 부여된 이상치와 다중 속성을 가진 10개의 실제 시계열 데이터셋을 포함한 다양한 데이터셋에서 알고리즘 성능을 평가하기 위해.
• 특히 새로운 데이터를 정기적으로 통합해야 하는 시스템을 고려할 때, 데이터 특성에 기반한 알고리즘 선택을 위한 실용적 힌트를 도출하기 위해.
• 이전 평가에서의 편향을 피하기 위해 동일한 알고리즘 및 데이터셋 세트를 기반으로 감독 분류 및 이상 탐지 정확도를 비교하기 위해.

제안 방법

• 일致성을 확보하기 위해 WEKA 머신 러닝 프레임워크를 사용하여 GBM, RF, C4.5, k-NN, Naive Bayes, Bayesian Networks의 6개 알고리즘을 평가하였다.
• 시간적 순서를 유지하면서 20개의 연속된 시간 포인트로 이루어진 시계열 윈도우를 생성하여 데이터 전처리를 수행하였다.
• 데이터 유출을 방지하기 위해 훈련 데이터가 테스트 데이터 이전에 오도록 표준 훈련/테스트 분할을 수행하였으며, 결측치 제거나 보간을 수행하지 않았다.
• 정확도 비교의 공정성을 확보하기 위해 각 알고리즘에 대해 고정된 수의 하이퍼파rameter 조합을 최적화하였다.
• 불균형한 이상치 데이터셋에서의 과적합을 완화하기 위한 전략으로 비용 행렬과 트리 크기 제약 조건을 적용하였다.
• 정확도를 주요 평가 지표로 사용하였으며, 가짜 양성 결과에 대한 후처리 내성 덕분에 정밀도는 덜 중요시되었다.

실험 결과

연구 질문

• RQ1 다양한 다변량 시계열 데이터셋에서 가장 높은 분류 정확도를 달성하는 빠른 학습 머신 러닝 알고리즘은 무엇인가?
• RQ2 동일한 알고리즘은 이상치 클래스가 불균형한 데이터셋에서 감독 기반 이상 탐지 성능에서 어떻게 나타나는가?
• RQ3 온라인 분류 및 실시간 시스템에서의 이상 탐지에 있어 알고리즘 선택을 안내할 수 있는 일반화된 힌트를 도출할 수 있는가?
• RQ4 GBM과 RF와 같은 앙상블 방법은 이상 예외 수가 매우 적은 데이터셋에서 얼마나 과적합되는가?
• RQ5 비선형적이고 복잡한 시계열 데이터에서 k-NN과 같은 인스턴스 기반 방법과 C4.5와 같은 모델 기반 방법 간의 성능 비교는 어떻게 이루어지는가?

주요 결과

• Gradient Boosting Machines (GBM)은 10개 데이터셋 중 7개에서 가장 높은 분류 정확도를 기록하였으며, 전체적으로 가장 뛰어난 성능을 보였다.
• 이상 탐지에서는 단일 알고리즘이 모든 데이터셋에서 승리하지는 않았다. GBM은 3개의 데이터셋에서 가장 높은 정확도를 기록했고, Random Forest (RF)는 4개의 데이터셋에서 최고 성능을 보였다.
• Bayes와 RF는 데이터셋 전반에서 뛰어난 평균 성능을 보였지만, Bayes는 어떤 단일 데이터셋에서도 최고 정확도를 기록하지 못했다.
• GBM과 RF는 O₃¹hr 및 O₃⁸hr 두 개의 오존 데이터셋에서 심각한 성능 저하를 보였으며, 이는 이상치 비율이 7.5%로 매우 낮아 과적합이 발생했기 때문으로 추정된다.
• k-NN과 Logistic Regression (LR)는 모든 데이터셋에서 일관되게 열등한 성능을 보였으며, 이상 탐지에 대한 실용적 대안으로서 배제되었다.
• C4.5와 Naive Bayes는 혼합된 결과를 보였다. C4.5는 강력한 분류 성능를 보였지만 일부 데이터셋에서 과적합이 발생했다. 반면 Naive Bayes는 과적합에 덜 민감했지만 일반적으로 정확도가 낮았다.