[论文解读] Mixture-of-Linear-Experts for Long-term Time Series Forecasting

Ronghao Ni, Zinan Lin+2 more|arXiv (Cornell University)|Dec 11, 2023

Hydrological Forecasting Using AI被引用 7

一句话总结

MoLE 在以线性为核心的 LTSF 模型中加入混合专家路由器，基于时间起始嵌入自适应加权多个线性预测器，在多样数据集上提升预测准确性。

ABSTRACT

Long-term time series forecasting (LTSF) aims to predict future values of a time series given the past values. The current state-of-the-art (SOTA) on this problem is attained in some cases by linear-centric models, which primarily feature a linear mapping layer. However, due to their inherent simplicity, they are not able to adapt their prediction rules to periodic changes in time series patterns. To address this challenge, we propose a Mixture-of-Experts-style augmentation for linear-centric models and propose Mixture-of-Linear-Experts (MoLE). Instead of training a single model, MoLE trains multiple linear-centric models (i.e., experts) and a router model that weighs and mixes their outputs. While the entire framework is trained end-to-end, each expert learns to specialize in a specific temporal pattern, and the router model learns to compose the experts adaptively. Experiments show that MoLE reduces forecasting error of linear-centric models, including DLinear, RLinear, and RMLP, in over 78% of the datasets and settings we evaluated. By using MoLE existing linear-centric models can achieve SOTA LTSF results in 68% of the experiments that PatchTST reports and we compare to, whereas existing single-head linear-centric models achieve SOTA results in only 25% of cases.

研究动机与目标

• 为长期时间序列预测中对非平稳时间模式的更好处理提供动机。
• 提出 MoLE，一种用于线性为核心的 LTSF 模型的即插即用的混合专家增强。
• 证明 MoLE 在多个数据集和基线线性模型上提升预测准确性。
• 给出消融实验，显示提升来自对时间的专用化，而不仅仅是模型规模的增加。

提出的方法

• 将 MoLE 增强到任何线性为核心的 LTSF 模型中，创建多个专家头和一个按通道的路由器。
• 路由器使用两层 MLP 从第一个时间戳的嵌入生成每个通道的权重。
• 通过按通道加权求和的方式整合专家输出，随后经过后处理层以产生最终预测。
• 将时间特征嵌入到一个类似日期时间的嵌入中并应用简单归一化。
• 以 DLinear、RLinear、RMLP 作为骨架，比较单头与多头 MoLE 的变体。
• 进行消融实验，包括 TimeIn、RandomIn、和 RandomOut，以评估时间戳条件化和随机性的作用。

实验结果

研究问题

• RQ1 Mixture-of-Linear-Experts 在应用于线性为核心的 LTSF 模型时，是否能提升长期预测准确性？
• RQ2 将混合器条件化在第一次时间戳嵌入上，是否比单纯增加模型容量带来额外改进？
• RQ3 MoLE 的表现如何随数据集、预测长度和输入序列长度变化？
• RQ4 增益是否主要来自对时间的专门化，而非参数规模的增长？
• RQ5 超参数（头数、 dropout、批量大小）对 MoLE 性能有何影响？

主要发现

• MoLE 在 32/44 的设置中提升了 DLinear 的预测误差（73%）。
• MoLE 在 38/44 的设置中提升了 RLinear 的预测误差（86%）。
• MoLE 在 33/44 的设置中提升了 RMLP 的预测误差（75%）。
• 在 Weather2K 全部评估设定中，MoLE-线性模型达到最先进水平。
• 总体而言，MoLE 使线性为核心的模型在 PatchTST 报告的设置中达到 SOTA 的比例为 68%（单头基线为 25%）。
• 消融显示提升源于对时间的专门化专家，当输入长度相对于预测长度较短时，增益更大。