[论文解读] Time2Vec: Learning a Vector Representation of Time

Seyed Mehran Kazemi, Rishab Goel+8 more|arXiv (Cornell University)|Jul 11, 2019

Time Series Analysis and Forecasting参考文献 59被引用 51

一句话总结

Time2Vec 引入了一种可学习的时间向量表示，可以嵌入到各种架构中，在合成数据和真实世界的时序任务上提升性能。

ABSTRACT

Time is an important feature in many applications involving events that occur synchronously and/or asynchronously. To effectively consume time information, recent studies have focused on designing new architectures. In this paper, we take an orthogonal but complementary approach by providing a model-agnostic vector representation for time, called Time2Vec, that can be easily imported into many existing and future architectures and improve their performances. We show on a range of models and problems that replacing the notion of time with its Time2Vec representation improves the performance of the final model.

研究动机与目标

• 激发需要一种能够同时捕捉周期性和非周期性模式的通用时间表示的必要性。
• 提出 Time2Vec，一种可学习的时间嵌入，可与多种模型整合。
• 展示 Time2Vec 如何在多种架构和数据集上提升性能。
• 分析 Time2Vec 对时间的学习内容，并比较周期性激活与非周期性激活，以及固定频率与学习得到的频率。

提出的方法

• 将 Time2Vec 定义为大小为 k+1 的向量，含一个线性项和 k 个基于正弦的周期项，其中频率和相位均可学习。
• 对 i = 1..k 使用周期性激活函数（正弦），对 i = 0 使用线性项以捕捉非周期性进展。
• 用 t2v(tau) 替换模型的时间输入 tau，并相应调整特定于架构的时间处理。
• 在多个数据集和架构上对 Time2Vec 进行实验（例如，LSTM+T、LSTM+Time2Vec、TLSTM1、TLSTM3），以评估性能提升。
• 评估周期性激活与非周期性激活，以及学习得到的频率/相位相对于固定频率/相位的影响。
• 提供关于线性项的必要性以及学习得到的频率对结果的影响的消融研究。

实验结果

研究问题

• RQ1 Time2Vec 是否在多样化任务和数据集上是一个有效的时间表示？
• RQ2 Time2Vec 能否与不同的架构结合以提高性能？
• RQ3 学习得到的正弦分量捕捉到时间的哪些模式（周期性、频率）？
• RQ4 在 Time2Vec 基模型中，周期性激活是否优于非周期性激活？
• RQ5 与固定频率相比，学习正弦频率/相位是否有益？

主要发现

• Time2Vec 在多数情况下将时间作为原始特征时，在多数据集和多架构上提升了性能。
• 在 TLSTM1 和 TLSTM3 中用 Time2Vec 替换时间同样在 Last.FM 和 CiteULike 上带来性能提升。
• 在合成数据上，Time2Vec 学习了潜在的周期性（如 7 天循环），并对相位偏移进行对齐以分离周期事件。
• 在 Event-MNIST 实验中，学习正弦频率和相位优于固定频率编码。
• 周期性激活（正弦、模、三角）通常优于 Time2Vec 中的非周期性激活。
• 在正弦分量旁加入线性项有助于捕获非周期性的时间模式，并且可以改善外推。