[논문 리뷰] RTFN: A Robust Temporal Feature Network for Time Series Classification

Zhiwen Xiao, Xin Xu외 4명|arXiv (Cornell University)|2020. 11. 24.

Time Series Analysis and Forecasting참고 문헌 70인용 수 6

한 줄 요약

이 논문은 시간 시리즈 분류를 위한 새로운 강건한 시간적 특징 네트워크인 RTFN을 제안한다. RTFN은 국소적 특징 추출을 위한 잔차 컨볼루션 네트워크(TFN)와 장거리 의존성 및 특징 간 관계 모델링을 위한 LSTM 기반 어텐션 네트워크(LSTMaN)를 결합한다. RTFN은 지도 학습 및 비지도 학습 설정에서 모두 UCR2018 및 UEA2018 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Time series data usually contains local and global patterns. Most of the existing feature networks pay more attention to local features rather than the relationships among them. The latter is, however, also important yet more difficult to explore. To obtain sufficient representations by a feature network is still challenging. To this end, we propose a novel robust temporal feature network (RTFN) for feature extraction in time series classification, containing a temporal feature network (TFN) and an LSTM-based attention network (LSTMaN). TFN is a residual structure with multiple convolutional layers. It functions as a local-feature extraction network to mine sufficient local features from data. LSTMaN is composed of two identical layers, where attention and long short-term memory (LSTM) networks are hybridized. This network acts as a relation extraction network to discover the intrinsic relationships among the extracted features at different positions in sequential data. In experiments, we embed RTFN into a supervised structure as a feature extractor and into an unsupervised structure as an encoder, respectively. The results show that the RTFN-based structures achieve excellent supervised and unsupervised performance on a large number of UCR2018 and UEA2018 datasets.

연구 동기 및 목표

• 시간 시리즈 분류에서 표현 학습이 부족한 문제, 특히 국소적 특징 간 관계가 충분히 탐색되지 않은 문제를 해결하기 위해.
• 통합된 딥 러닝 아키텍처 내에서 국소 패턴 탐색과 관계 모델링을 결합하여 특징 추출을 향상시키기 위해.
• 지도 학습 및 비지도 학습 시간 시리즈 분류 작업에서 성능을 향상시키는 강건한 엔드 투 엔드 아키텍처를 개발하기 위해.
• 계층적 특징 및 관계 학습을 활용하여 UCR2018 및 UEA2018와 같은 표준 벤치마크에서 기존 방법을 초월하기 위해.

제안 방법

• RTFN은 두 가지 구성 요소로 이루어져 있다: 국소적 특징 추출을 위한 잔차 컨볼루션 네트워크(TFN), 다중 컨볼루션 레이어를 갖춘 잔차 컨볼루션 신경망.
• LSTMaN 모듈은 양방향 LSTM과 멀티헤드 어텐션을 결합하여 서로 다른 시간 위치에서 추출된 특징 간의 장기 의존성과 관계를 모델링한다.
• 네트워크는 지도 학습 설정에서 특징 추출기로, 비지도 학습 설정에서 클러스터링을 위한 오토인코더로 훈련된다.
• 어텐션 메커니즘은 전체 시퀀스 컨텍스트에 대한 관련성에 따라 특징 표현에 가중치를 동적으로 할당한다.
• TFN 내의 잔차 구조는 훈련 중에 사라지는 기울기 문제를 완화하면서도 더 깊은 네트워크 깊이를 가능하게 한다.
• 분류 및 클러스터링 프로토콜을 사용하여 UCR2018 및 UEA2018 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 하이브리드 딥 러닝 아키텍처는 시간 시리즈 데이터에서 국소적 시간 패턴과 그 상호관계를 효과적으로 포착할 수 있는가?
• RQ2 LSTM과 어텐션 메커니즘의 통합은 시간 시리즈 분류에서 단독 모델 대비 관계 모델링 성능을 어떻게 향상시키는가?
• RQ3 RTFN은 지도 학습 및 비지도 학습 시간 시리즈 분류 작업에서 기존 최신 기준 방법을 어느 정도 초월하는가?
• RQ4 제안된 아키텍처는 다양한 단변량 및 다변량 시간 시리즈 데이터셋에 대해 잘 일반화되는가?

주요 결과

• RTFN 기반 지도 학습 모델은 85개의 단변량 UCR2018 데이터셋 중 39개, 30개의 다변량 UEA2018 데이터셋 중 15개에서 최고 성능를 기록했다.
• 장기 단변량 시계열 20개의 경우 11개에서 1위를 기록하여 장기간 시퀀스에 대한 뛰어난 일반화 능력을 입증했다.
• 비지도 클러스터링에서 RTFN 기반 K-means는 36개의 UCR2018 데이터셋에서 평균 정규화된 Rand 지수(RI)가 두 번째로 높았으며, 두 개를 제외한 모든 데이터셋에서 별도의 K-means보다 뛰어났다.
• 모델의 성능는 국소 패턴을 넘는 복잡한 관계를 모델링할 수 있는 깊이 있는 표현 특징 추출 능력 덕분에 일관되게 뛰어나다.
• 비지도 클러스터링에서 RTFN의 AVG_rank는 2.78로 강력한 종합 순위 성능를 나타내며, DTCR에 이어 두 번째로 높은 순위를 기록했다.
• 제거 실험 결과, TFN과 LSTMaN의 조합이 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능 저하가 심각하게 발생했다.