[논문 리뷰] HyperTime: Implicit Neural Representation for Time Series

Elizabeth Fons, Alejandro Sztrajman외 3명|arXiv (Cornell University)|2022. 08. 11.

Time Series Analysis and Forecasting인용 수 8

한 줄 요약

HyperTime는 SIREN 기반의 네트워크를 사용하여 단변량 및 다변량 시계열 데이터에 대해 암시적 신경 표현(INR)을 제안하며, 해상도에 영향을 받지 않는 복원, 누락 데이터 보정, 데이터 생성을 가능하게 한다. 해상도에 영향을 받지 않는 복원, 누락 데이터 보정, 데이터 생성을 가능하게 한다. 이는 스펙트럼 특성을 유지하기 위해 푸리에 기반 손실을 사용하는 하이퍼넷워크를 도입하여, 분리된 잠재 표현을 학습하고 보간 기반 합성 기법을 통해 시계열 데이터 증강에서 최고 성능을 달성한다.

ABSTRACT

Implicit neural representations (INRs) have recently emerged as a powerful tool that provides an accurate and resolution-independent encoding of data. Their robustness as general approximators has been shown in a wide variety of data sources, with applications on image, sound, and 3D scene representation. However, little attention has been given to leveraging these architectures for the representation and analysis of time series data. In this paper, we analyze the representation of time series using INRs, comparing different activation functions in terms of reconstruction accuracy and training convergence speed. We show how these networks can be leveraged for the imputation of time series, with applications on both univariate and multivariate data. Finally, we propose a hypernetwork architecture that leverages INRs to learn a compressed latent representation of an entire time series dataset. We introduce an FFT-based loss to guide training so that all frequencies are preserved in the time series. We show that this network can be used to encode time series as INRs, and their embeddings can be interpolated to generate new time series from existing ones. We evaluate our generative method by using it for data augmentation, and show that it is competitive against current state-of-the-art approaches for augmentation of time series.

연구 동기 및 목표

• 암시적 신경 표현(INRs)이 시계열 데이터 표현 및 분석에 적합한지 조사한다.
• 시계열 데이터에서 복원 정확도와 학습 속도에 영향을 주는 다양한 활성화 함수를 INRs에서 평가한다.
• 데이터 생성을 위해 시계열 데이터셋에 대한 압축된 잠재 사전을 학습하는 하이퍼넷워크 아키텍처를 개발한다.
• 학습 중 전체 주파수 스펙트럼을 유지하기 위해 새로운 푸리에 기반 손실 함수를 설계한다. 이는 정확한 스펙트럼 복원을 보장한다.
• 학습된 표현이 보간 기반 합성 기법을 통해 시계열 데이터 보정 및 합성 시계열 생성에 어떻게 활용될 수 있는지 시연한다.

제안 방법

• 시간 좌표에서 신호 값으로 매핑하는 연속 함수로 시계열을 표현하기 위해 SIREN 기반의 MLP를 사용한다. 이는 해상도에 영향을 받지 않는 인코딩을 가능하게 한다.
• INR 기반 시계열 모델링에서 복원 정확도와 수렴 속도를 평가하기 위해 다양한 활성화 함수(SIREN, ReLU, GELU 등)를 비교한다.
• 학습된 잠재 코드를 기반으로 보조 INR의 가중치를 생성하는 하이퍼넷워크를 도입한다. 이는 전체 데이터셋을 효율적으로 인코딩할 수 있도록 한다.
• 재구성된 신호의 파wer 스펙트럼이 원본과 일치하도록 정규화하는 새로운 푸리에 기반 손실($\mathcal{L}_{\text{FFT}}$)을 제안한다. 이는 주파수 보존을 보장한다.
• 하이퍼넷워크의 잠재 공간을 사용하여 시계열 임베딩 간의 보간을 수행함으로써, 새로운 실재성 있는 시계열 샘플을 생성한다.
• INR의 누락되거나 비정규적으로 샘플링된 데이터 포인트를 복원할 수 있는 능력을 활용하여 데이터 보정에 적용한다.

실험 결과

연구 질문

• RQ1 암시적 신경 표현(INRs)이 높은 정확도와 해상도 독립성으로 단변량 및 다변량 시계열을 효과적으로 복원할 수 있는가?
• RQ2 다양한 활성화 함수가 INR 기반 시계열 모델링에서 복원 품질과 학습 동역학에 어떤 영향을 미치는가?
• RQ3 특히 누락되거나 비정규적으로 샘플링된 데이터가 존재할 경우, INRs가 시계열 데이터 보정에 얼마나 효과적으로 사용될 수 있는가?
• RQ4 푸리에 기반 손실을 갖춘 하이퍼넷워크는 시계열 데이터에 대해 분리된, 해석 가능한 잠재 사전을 얼마나 효과적으로 학습할 수 있는가?
• RQ5 학습된 잠재 공간에서의 보간은 최고 성능(SOTA)의 데이터 증강 방법을 능가하는 실재성 있고 다양한 시계열 샘플을 생성할 수 있는가?

주요 결과

• SIREN 활성화 함수는 시계열 데이터에서 ReLU 및 GELU보다 복원 정확도와 학습 수렴 속도 면에서 뚜렷이 뛰어나다.
• 제안된 INR 기반 보정 방법은 신호와 파워 스펙트럼 양쪽 모두에서 고품질 복원을 달성하며, 전통적인 보정 기법을 능가한다.
• 푸리에 기반 손실($\mathcal{L}_{\text{FFT}}$)은 특히 FordA와 같이 스펙트럼 변동성이 높은 데이터셋에서 의미 있는 패턴을 학습하는 데 필수적이다. 이 손실이 없을 경우 성능이 급격히 떨어진다.
• FordA 데이터셋에서 FFT 손실을 사용한 HyperTime는 F1 스코어 0.9987과 MAE 0.0076을 기록했으며, 이는 손실 없이 사용했을 경우의 0.0167과 0.1647보다 뚜렷이 우수함을 보여주며, 손실의 핵심적 역할을 입증한다.
• t-SNE 시각화 결과는 FFT 손실을 사용했을 경우, HyperTime가 생성한 합성 데이터가 실제 데이터의 분포와 매우 유사함을 확인한다.
• HyperTime는 시계열 데이터 증강 분야에서 최고 성능(SOTA) 방법들과 경쟁 가능한 성능을 달성하며, 후속 작업에 대한 효과성을 입증한다.