[論文レビュー] HyperTime: Implicit Neural Representation for Time Series

Elizabeth Fons, Alejandro Sztrajman+3 more|arXiv (Cornell University)|Aug 11, 2022

Time Series Analysis and Forecasting被引用数 8

ひとこと要約

HyperTimeは、SIRENベースのネットワークを用いた時間系列データの暗黙的ニューラル表現（INR）を提案し、解像度に依存しない再構成、欠損値補完、データ生成を可能にする。周波数特性を保持するためのフーリエベースの損失関数を備えたハイパーネットワークを導入し、離散化された潜在表現を学習することで、時間系列データ拡張において最先端の性能を達成し、補間を用いた合成を可能にする。

ABSTRACT

Implicit neural representations (INRs) have recently emerged as a powerful tool that provides an accurate and resolution-independent encoding of data. Their robustness as general approximators has been shown in a wide variety of data sources, with applications on image, sound, and 3D scene representation. However, little attention has been given to leveraging these architectures for the representation and analysis of time series data. In this paper, we analyze the representation of time series using INRs, comparing different activation functions in terms of reconstruction accuracy and training convergence speed. We show how these networks can be leveraged for the imputation of time series, with applications on both univariate and multivariate data. Finally, we propose a hypernetwork architecture that leverages INRs to learn a compressed latent representation of an entire time series dataset. We introduce an FFT-based loss to guide training so that all frequencies are preserved in the time series. We show that this network can be used to encode time series as INRs, and their embeddings can be interpolated to generate new time series from existing ones. We evaluate our generative method by using it for data augmentation, and show that it is competitive against current state-of-the-art approaches for augmentation of time series.

研究の動機と目的

• 暗黙的ニューラル表現（INR）が時間系列データの表現と分析に適しているかどうかを調査すること。
• 時間系列データの再構成精度と学習速度に与える影響を評価するため、INRにおけるさまざまな活性化関数の比較を行うこと。
• 時間系列データセット全体の圧縮された潜在事前分布を学習するためのハイパーネットワークアーキテクチャの開発。
• 訓練中に周波数スペクトル全体を正確に再構成できるように保証するため、周波数スペクトルを正則化する新しいフーリエベースの損失関数の設計。
• 学習済み表現の有用性を、補間を用いた時間系列の補完と合成によるデータ生成の観点から実証すること。

提案手法

• 時間座標から信号値への連続関数として時間系列を表現するSIRENベースのMLPを採用し、解像度に依存しない符号化を実現する。
• INRを用いた時間系列モデリングにおける再構成精度と収束速度を評価するため、複数の活性化関数（例：SIREN、ReLU、GELU）を比較する。
• 学習済み潜在コードに基づいて、二次的なINRの重みを生成するハイパーネットワークを導入し、データセット全体の効率的符号化を可能にする。
• 再構成信号のパワースペクトルが元の信号と一致するように正則化する、新しいフーリエベースの損失関数（$\mathcal{L}_{\text{FFT}}$）を提案する。
• ハイパーネットワークの潜在空間を用いて、時間系列埋め込み間の補間を実行し、新しい現実的で多様な時間系列サンプルを生成する。
• INRの欠損値や不規則にサンプリングされたデータポイントの再構成能力を活用し、データ補完に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 暗黙的ニューラル表現（INR）は、高い精度と解像度に依存しない性質を備えた単変量および多変量時間系列を効果的に再構成できるか？
• RQ2 INRを用いた時間系列モデリングにおいて、さまざまな活性化関数が再構成品質と学習ダイナミクスに与える影響はいかほどか？
• RQ3 INRは、欠損値や不規則にサンプリングされたデータが存在する状況において、時間系列の補完にどの程度有効に利用できるか？
• RQ4 フーリエベースの損失を備えたハイパーネットワークは、時間系列データ上に分離可能で解釈可能な潜在事前分布をどの程度効果的に学習できるか？
• RQ5 学習済み潜在空間における補間によって、最先端のデータ拡張手法を上回る現実的で多様な時間系列サンプルを生成できるか？

主な発見

• SIREN活性化関数は、時間系列データにおいて、ReLUやGELUと比較して再構成精度と学習収束速度の両面で顕著に優れている。
• 提案されたINRベースの補完手法は、信号とパワースペクトルの両方において高精度な再構成を達成し、古典的手法を上回る。
• フーリエベースの損失（$\mathcal{L}_{\text{FFT}}$）は、特にスペクトル変動が著しいデータセット（例：FordA）において、意味のあるパターンを学習するために不可欠である。
• FordAデータセットにおいて、FFT損失を用いたHyperTimeはF1スコア0.9987、MAE 0.0076を達成したが、損失なしではそれぞれ0.0167と0.1647に低下し、損失の重要性が明確に示された。
• t-SNE可視化により、FFT損失を用いた場合、HyperTimeが生成した合成データが、実データの分布と極めて類似していることが確認された。
• 時間系列データ拡張において、HyperTimeは最先端の手法と同等の性能を発揮し、下流タスクへの有効性を裏付けた。