[논문 리뷰] Plotting time: On the usage of CNNs for time series classification

Nuno M. Rodrigues, João E. Batista외 5명|arXiv (Cornell University)|2021. 02. 08.

Time Series Analysis and Forecasting참고 문헌 5인용 수 9

한 줄 요약

이 논문은 시간 시리즈를 2차원 선도표 이미지로 변환하고, 이를 기본 컨볼루션 신경망(CNN)에 입력함으로써 시간 시리즈 분류를 위한 단순하면서도 효과적인 방법을 제안한다. 데이터 정규화나 복잡한 아키텍처 없이도 여러 UCR 데이터셋과 두 개의 실세계 데이터셋에서 최신 기술(SOTA) 성능을 달성한다. 이 방법은 최소한의 전처리와 표준 CNN만으로도 전문화된 SOTA 기법들을 능가할 수 있음을 보여준다.

ABSTRACT

We present a novel approach for time series classification where we represent time series data as plot images and feed them to a simple CNN, outperforming several state-of-the-art methods. We propose a simple and highly replicable way of plotting the time series, and feed these images as input to a non-optimized shallow CNN, without any normalization or residual connections. These representations are no more than default line plots using the time series data, where the only pre-processing applied is to reduce the number of white pixels in the image. We compare our method with different state-of-the-art methods specialized in time series classification on two real-world non public datasets, as well as 98 datasets of the UCR dataset collection. The results show that our approach is very promising, achieving the best results on both real-world datasets and matching / beating the best state-of-the-art methods in six UCR datasets. We argue that, if a simple naive design like ours can obtain such good results, it is worth further exploring the capabilities of using image representation of time series data, along with more powerful CNNs, for classification and other related tasks.

연구 동기 및 목표

• 시간 시리즈의 단순한 시각적 표현이 표준 CNN을 사용해 고성능 분류를 가능하게 할 수 있는지 조사하기 위해.
• 정규화나 잔차 연결 없이 기본 선도표와 얕은 CNN을 사용하는 최소화된 접근 방식이 복잡한 전문화된 시간 시리즈 분류 알고리즘과 비교해 얼마나 효과적인지 평가하기 위해.
• 이미지 기반 딥러닝 방법이 최신 기술 시간 시리즈 분류 모델의 성능을 따라하거나 뛰어넘을 수 있는지 판단하기 위해.
• 시각적 표현이 시간 시리즈 분석을 위한 실용적이고 아직 활용되지 않은 길이 될 잠재력을 탐색하기 위해.

제안 방법

• 시간 시리즈 데이터는 표준 선도표를 사용해 2차원 이미지 표현으로 변환되며, 흰색 영역을 줄이기 위한 최소한의 전처리만 수행된다.
• 결과로 생성된 이미지는 정규화나 잔차 연결 없이 최적화되지 않은 얕은 CNN에 직접 입력된다.
• 이 방법은 x축에 시간, y축에 시간 시리즈 값을 나타내는 기본 선도표 시각화를 사용한다.
• 전처리는 입력 효율성을 향상시키기 위해 이미지 내 흰색 픽셀 수를 줄이는 데 국한된다.
• CNN 아키텍처는 모델 복잡성보다는 시각적 표현에 중점을 두어 의도적으로 단순하게 유지된다.
• 이 방법은 단변량 및 다변량 시간 시리즈에 모두 적용되며, 일관된 이미지 변환 및 분류 파이프라인을 유지한다.

실험 결과

연구 질문

• RQ1 표준 선도표와 같은 단순한 시간 시리즈 데이터의 시각적 표현이 분류를 위해 CNN에 효과적으로 사용될 수 있는가?
• RQ2 정규화나 잔차 연결 없이도 얕은 CNN 아키텍처가 최신 기술 시간 시리즈 분류 모델과 경쟁 가능한 성능을 내는가?
• RQ3 이러한 이미지 기반 접근 방식의 성능가 실세계 및 벤치마크 데이터셋에서 전문화된 시간 시리즈 알고리즘과 비교해 어떻게 되는가?
• RQ4 오프더쇼프 컴퓨터 비전 모델을 사용해 시간 시리즈 데이터의 시각적 특성을 얼마나 효과적으로 활용할 수 있는가?

주요 결과

• 제안된 방법은 두 개의 실세계 비공개 시간 시리즈 데이터셋에서 기존 SOTA 기법들을 능가하는 최고의 성능을 달성했다.
• UCR 시간 시리즈 분류 벤치마크에서, 이 방법은 'GunPoint', 'Ham', 'Yoga'를 포함한 여섯 개 데이터셋에서 최신 기술 결과와 동일하거나 이를 초월했다.
• 이 방법은 'FaceAll', 'FaceFour', 'Fish'를 포함한 18개의 UCR 데이터셋에서 100% 정확도를 기록했으며, 여러 SOTA 기법들도 동일한 성능을 달성했다.
• 복잡한 앙상블 모델인 HIVE-COTE와 TS-CHIEF와는 달리, 'DistalPhalanxOutlineAgeGroup'과 'Earthquakes' 등의 일부 데이터셋에서 이 방법이 성능상 우위를 점했다.
• 결과적으로, 단순한 시각적 표현과 기본 CNN을 조합하면 전문화된 특징 공학이나 복잡한 아키텍처 없이도 경쟁 가능한 성능을 달성할 수 있음을 보여주었다.
• 이 연구는 특히 단순한 이미지 기반 딥러닝을 사용할 때 시간 시리즈 데이터의 시각적 표현이 향후 연구를 위한 유망하고 아직 활용되지 않은 방향이라는 점을 시사한다.