[논문 리뷰] Outlier Detection as Instance Selection Method for Feature Selection in Time Series Classification

David Cemernek|arXiv (Cornell University)|2021. 11. 16.

Anomaly Detection Techniques and Applications참고 문헌 1인용 수 4

한 줄 요약

이 논문은 특성 선택 과정에서 희귀하고 고차별성 있는 인스턴스를 우선시하기 위해 이상치 탐지 기법을 활용하는 새로운 시계열 분류를 위한 인스턴스 선택 방법을 제안한다. 훈련 데이터를 이 희귀한 인스턴스들로만 필터링함으로써, 다양한 데이터셋에서 최대 16% 향상된 분류 성능를 달성한다. 이는 이상치 탐지가 불균형한 시계열 데이터에서 특성 선택과 모델 해석 가능성 향상에 효과적인 전략임을 보여준다.

ABSTRACT

In order to allow machine learning algorithms to extract knowledge from raw data, these data must first be cleaned, transformed, and put into machine-appropriate form. These often very time-consuming phase is referred to as preprocessing. An important step in the preprocessing phase is feature selection, which aims at better performance of prediction models by reducing the amount of features of a data set. Within these datasets, instances of different events are often imbalanced, which means that certain normal events are over-represented while other rare events are very limited. Typically, these rare events are of special interest since they have more discriminative power than normal events. The aim of this work was to filter instances provided to feature selection methods for these rare instances, and thus positively influence the feature selection process. In the course of this work, we were able to show that this filtering has a positive effect on the performance of classification models and that outlier detection methods are suitable for this filtering. For some data sets, the resulting increase in performance was only a few percent, but for other datasets, we were able to achieve increases in performance of up to 16 percent. This work should lead to the improvement of the predictive models and the better interpretability of feature selection in the course of the preprocessing phase. In the spirit of open science and to increase transparency within our research field, we have made all our source code and the results of our experiments available in a publicly available repository.

연구 동기 및 목표

• 특성 선택을 통한 성능 향상을 위해 인스턴스 선택을 통해 특성 선택을 향상시키는 것.
• 희귀하고 고차별성 있는 이벤트가 부족한 불균형한 시계열 데이터에서의 클래스 불균형 문제를 해결하는 것.
• 이상치 탐지가 특성 선택을 위한 희귀하고 정보가 풍부한 인스턴스를 효과적으로 식별하고 우선순위를 매울 수 있는지 조사하는 것.
• 시계열 기계학습의 전처리 파이프라인의 해석 가능성과 강건성 향상.
• 공개된 코드와 실험 결과를 통해 개방형 과학을 촉진하는 것.

제안 방법

• 특성 선택 이전에 훈련 세트에서 희귀하고 고차별성 있는 인스턴스만을 식별하고 유지하기 위해 이상치 탐지 알고리즘을 적용한다.
• 이상치 탐지는 과도하게 표현된 정상 인스턴스를 제거하고 희귀한, 잠재적으로 정보가 풍부한 사건을 유지하기 위한 필터링 메커니즘으로 사용된다.
• 필터링된 데이터셋은 이후 표준 특성 선택 파이프라인을 거쳐 모델 성능 향상에 활용된다.
• 지역 이상치 요인, 일변도 SVM 등 다양한 이상치 탐지 알고리즘의 인스턴스 선택 효과성을 평가한다.
• 다양한 특성 선택기, 분류기, 평가 지표를 지원하는 모듈러한 파이프라인에 방법을 통합한다.
• 표준 분류 벤치마크와 성능 지표를 사용하여 다양한 시계열 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 불균형한 시계열 데이터셋에서 이상치 탐지가 희귀하고 고차별성 있는 인스턴스를 효과적으로 식별할 수 있는가?
• RQ2 이러한 희귀한 인스턴스들만을 유지하도록 훈련 데이터를 필터링하면 이후 특성 선택 및 분류 성능가 향상되는가?
• RQ3 다양한 이상치 탐지 알고리즘이 시계열 분류를 위한 인스턴스 선택을 향상시키는 데 얼마나 효과적인가?
• RQ4 이러한 인스턴스 선택 전략을 통해 다양한 데이터셋에서 성능 향상의 정도는 어느 정도인가?
• RQ5 이 방법은 시계열 기계학습에서 특성 선택 과정의 해석 가능성과 강건성 향상에 기여하는가?

주요 결과

• 이상치 탐지 기반의 인스턴스 선택 방법은 분류 성능을 크게 향상시키며, 일부 시계열 데이터셋에서 최대 16% 향상된 성능를 기록한다.
• 일부 데이터셋에서는 몇 퍼cent 포인트 수준의 성능 향상이 있었으며, 이는 데이터셋에 따라 성능 향상 정도가 다름을 시사한다.
• 이 방법은 Rotation Forest 및 DTW1NN를 포함한 다양한 분류기에서 일관되게 모델 성능 향상을 이룬다.
• 이 방법은 주로 일반적인 패턴보다 희귀하고 정보가 풍부한 인스턴스에 초점을 맞추므로 특성 선택의 해석 가능성 향상에 기여한다.
• 결과는 이상치 탐지가 하류 분류 정확도 향상을 위해 훈련 데이터를 필터링하는 타당하고 효과적인 전략임을 입증한다.
• 저자는 다양한 시계열 데이터셋에서 자신의 방법을 성공적으로 검증하여, 이 방법의 강건성과 일반화 능력을 확인했다.