[논문 리뷰] Imaging Time-Series to Improve Classification and Imputation

Zhiguang Wang, Tim Oates|arXiv (Cornell University)|2015. 06. 01.

Time Series Analysis and Forecasting참고 문헌 12인용 수 483

한 줄 요약

이 논문은 시간 시리즈를 그라미안 각도 합계/차이 필드(GASF/GADF)와 마르코프 전이 필드(MTF)를 사용해 이미지로 인코딩하고, 컴퓨터 비전 분야의 딥러닝 기법을 시간 시리즈 분류 및 보간에 적용한다. 이러한 이미지 표현에 Tiled 컨volution 신경망(Tiled CNNs)과 노이즈 제거 오토에인코더(DA)를 적용함으로써, 20개 데이터셋 중 9개에서 최신 기법보다 뛰어난 분류 성능을 달성하고, 원시 데이터 대비 보간의 평균 제곱 오차(MSE)를 12.18%~48.02% 감소시킨다.

ABSTRACT

Inspired by recent successes of deep learning in computer vision, we propose a novel framework for encoding time series as different types of images, namely, Gramian Angular Summation/Difference Fields (GASF/GADF) and Markov Transition Fields (MTF). This enables the use of techniques from computer vision for time series classification and imputation. We used Tiled Convolutional Neural Networks (tiled CNNs) on 20 standard datasets to learn high-level features from the individual and compound GASF-GADF-MTF images. Our approaches achieve highly competitive results when compared to nine of the current best time series classification approaches. Inspired by the bijection property of GASF on 0/1 rescaled data, we train Denoised Auto-encoders (DA) on the GASF images of four standard and one synthesized compound dataset. The imputation MSE on test data is reduced by 12.18%-48.02% when compared to using the raw data. An analysis of the features and weights learned via tiled CNNs and DAs explains why the approaches work.

연구 동기 및 목표

• 시계열 데이터를 시간적 및 구조적 패턴을 유지하는 이미지 유사 표현으로 변환함으로써 시계열 분류 및 보간을 향상시키기 위해.
• 특히 Tiled CNNs와 노이즈 제거 오토에인코더를 활용해 컴퓨터 비전 분야의 딥러닝 아키텍처를 이러한 이미지 표현에 적용하기 위해.
• 시계열의 이미지 기반 표현이 기존의 시계열 모델링 기법보다 분류 및 보간 작업에서 우월한 성능을 보일 수 있는지 조사하기 위해.
• 학습된 특징과 가중치를 분석하여 제안된 이미지 기반 딥러닝 프레임워크가 효과적인 이유를 이해하기 위해.

제안 방법

• 시계열 데이터를 [0,1] 또는 [-1,1] 범위로 스케일링하여 극좌표 변환을 가능하게 한다.
• 코사인 기반 각도 인코딩을 사용해 스케일링된 시계열을 그라미안 각도 합계 필드(GASF) 및 차이 필드(GADF) 이미지로 변환한다.
• 시계열을 분위수 구간으로 이산화하고 전이 확률을 그라미안 필드와 유사한 행렬로 인코딩하여 마르코프 전이 필드(MTF)를 구성한다.
• 분류를 위해 개별적 및 병합된 GASF, GADF, MTF 이미지에서 계층적 특징을 학습하기 위해 Tiled 컨volution 신경망(Tiled CNNs)을 적용한다.
• 보간을 위해 표준 4개 및 복합 1개 데이터셋의 GASF 이미지에 대해 노이즈 제거 오토에인코더(DA)를 훈련시켜 강건한 표현을 학습한다.
• Tiled CNNs와 DA에서 학습된 특징을 각각 시계열 분류 및 결측치 복원에 사용한다.

실험 결과

연구 질문

• RQ1 GASF, GADF, MTF와 같은 이미지 표현으로 시계열을 변환하면 최신 기법 대비 분류 정확도 향상이 이루어지는가?
• RQ2 이러한 표현에 Tiled CNNs와 같은 이미지 기반 딥러닝 모델을 사용하면 더 나은 특징 추출과 일반화 성능를 달성하는가?
• RQ3 GASF 이미지에 대해 훈련된 노이즈 제거 오토에인코더는 원시 데이터 대비 보간의 안정성과 정확도를 향상시키는가?
• RQ4 Tiled CNNs와 DAs에서 학습된 특징과 가중치는 시계열 이미지 맥락에서 어떤 종류의 구조적 및 시간적 패턴을 포착하는가?
• RQ5 0/1 스케일링된 데이터에 대해 GASF가 가지는 이항성(bijection) 성질이 보간 성능 향상에 기여하는 방식은 무엇인가?

주요 결과

• 제안된 방법은 20개의 표준 시계열 데이터셋 중 9개에서 9종의 최신 기법들과 비교해 최고 수준의 분류 성능를 달성했다.
• GASF 이미지에 대해 노이즈 제거 오토에인코더를 적용한 보간은 원시 시계열에 대한 보간 대비 테스트 세트 평균 제곱 오차(MSE)를 12.18%에서 48.02%까지 감소시켰다.
• GASF 이미지에서는 전체 MSE와 보간 MSE 간의 차이가 원시 데이터보다 유의미하게 작았으며, 이는 보다 안정적인 보간 성능을 의미한다.
• Tiled CNNs는 원시 시계열의 다중 주파수 근사기능을 수행하는 특징 맵을 학습했으며, 2차원 컨볼루션 연산을 통해 시간적 종속성을 유지했다.
• Tiled CNNs의 학습된 가중치 행렬은 준직교성(quasi-orthogonality, WW^T ≈ I)을 보였으며, 이는 더 나은 조건화와 안정적인 훈련에 기여한다.
• DA는 GASF 표현에서 구분되는 이미지 프로토타입을 학습했으며, 소규모 데이터셋에서는 노이즈가 있는 필터가 가우시안 노이즈를 닮아 있어 데이터 희소성에 대한 강건성을 시사한다.