[论文解读] Attention-based Information Fusion using Multi-Encoder-Decoder Recurrent Neural Networks

Stephan Baier, Sigurd Spieckermann+1 more|arXiv (Cornell University)|Nov 13, 2017

Target Tracking and Data Fusion in Sensor Networks参考文献 4被引用 3

一句话总结

本文提出一种带有空间注意力机制的多编码器-解码器RNN架构，通过融合多个分布式传感器站的上下文信息，提升序列到序列的预测性能。通过根据上下文相关的相关性动态加权潜在表征，该模型在三个真实世界传感器网络数据集上均优于线性模型和标准RNN，展现出在建模多变量时间序列中交叉相关性方面的卓越性能。

ABSTRACT

With the rising number of interconnected devices and sensors, modeling distributed sensor networks is of increasing interest. Recurrent neural networks (RNN) are considered particularly well suited for modeling sensory and streaming data. When predicting future behavior, incorporating information from neighboring sensor stations is often beneficial. We propose a new RNN based architecture for context specific information fusion across multiple spatially distributed sensor stations. Hereby, latent representations of multiple local models, each modeling one sensor station, are jointed and weighted, according to their importance for the prediction. The particular importance is assessed depending on the current context using a separate attention function. We demonstrate the effectiveness of our model on three different real-world sensor network datasets.

研究动机与目标

• 解决建模具有相互依赖的多变量时间序列数据的复杂分布式传感器网络的挑战。
• 通过融合来自多个空间分布站点的信息，提升传感器网络中的序列到序列预测性能。
• 通过学习不同传感器站点潜在表征的动态注意力加权，实现上下文感知的信息融合。
• 在真实世界的气候学和智能电网数据集上，验证所提出架构的有效性。
• 证明基于注意力的融合方法在捕捉传感器站点间非线性交叉相关性方面，优于线性模型和标准RNN。

提出的方法

• 模型为每个传感器站点使用独立的RNN编码器，从多变量输入序列中学习潜在表征。
• 通过带有空间注意力机制的互联层，将所有编码器的潜在表征进行组合，基于当前上下文动态分配权重。
• 注意力机制为每个编码器的表征计算上下文相关的权重分数，实现选择性融合。
• 每个解码器均以经过上下文加权的融合表征初始化，并生成目标序列的预测结果。
• 整个架构为端到端可微分结构，通过时间反向传播进行训练。
• 该模型应用于传感器网络的多变量时间序列，输入和输出序列被定义为包含站点、时间与特征的三重张量。

实验结果

研究问题

• RQ1 与固定或线性融合相比，基于注意力的融合机制是否能提升分布式传感器网络中的序列到序列预测性能？
• RQ2 多编码器-解码器RNN架构在多大程度上能有效利用空间分布传感器站点之间的交叉相关性？
• RQ3 上下文感知的注意力加权是否能带来优于标准RNN或线性模型的性能提升，特别是在多变量时间序列预测中？
• RQ4 联合建模所有站点的性能在多大程度上优于单站模型？
• RQ5 所提出的架构能否在多样化传感器网络应用中实现泛化，如气候监测和智能电网负荷预测？

主要发现

• 在魁北克气候学数据集中，所提出的基于注意力的多编码器-解码器RNN实现了32.28%的均方误差（MSE），优于次优模型（34.77%）的联合RNN。
• 在阿尔伯塔气候学数据集中，该模型实现了32.89%的MSE，优于联合RNN基线模型的34.68%。
• 在智能电网数据集中，该模型实现了28.84%的MSE，优于联合RNN基线模型（29.56%）和包含所有站点的线性模型（31.64%）。
• 在具有强交叉相关性的数据集（如气候学数据）中，注意力机制带来的性能增益最为显著，此时联合模型显著优于单站模型。
• 在所有三个数据集中，该模型始终优于线性回归和标准RNN，证明了上下文感知融合的价值。
• 使用GRU或LSTM并未显著提升性能，表明注意力机制的贡献与循环单元设计是独立的。