[论文解读] Neural Network for Weighted Signal Temporal Logic

Ruixuan Yan, A. Agung Julius|arXiv (Cornell University)|Apr 8, 2021

Time Series Analysis and Forecasting参考文献 12被引用 6

一句话总结

该论文提出了一种可微分的神经符号框架 wSTL-NN，通过神经网络从时间序列数据中学习加权信号时序逻辑（wSTL）公式，其中每个神经元代表一个 wSTL 子公式的定量满足度。该方法支持端到端反向传播训练，在占用检测数据集上实现了 99.46% 的分类准确率，同时提升了可解释性，并比传统 STL 方法快 700 倍。

ABSTRACT

In this paper, we propose a neuro-symbolic framework called weighted Signal Temporal Logic Neural Network (wSTL-NN) that combines the characteristics of neural networks and temporal logics. Weighted Signal Temporal Logic (wSTL) formulas are recursively composed of subformulas that are combined using logical and temporal operators. The quantitative semantics of wSTL is defined such that the quantitative satisfaction of subformulas with higher weights has more influence on the quantitative satisfaction of the overall wSTL formula. In the wSTL-NN, each neuron corresponds to a wSTL subformula, and its output corresponds to the quantitative satisfaction of the formula. We use wSTL-NN to represent wSTL formulas as features to classify time series data. STL features are more explainable than those used in classical methods. The wSTL-NN is end-to-end differentiable, which allows learning of wSTL formulas to be done using back-propagation. To reduce the number of weights, we introduce two techniques to sparsify the wSTL-NN.We apply our framework to an occupancy detection time-series dataset to learn a classifier that predicts the occupancy status of an office room.

研究动机与目标

• 通过将符号时序逻辑与神经网络结合，解决时间序列分类（TSC）中缺乏人类可读、可解释模型的问题。
• 克服现有加权 STL（wSTL）定量语义的局限性，例如即使权重为零仍会影响结果，且无法按权重大小排序影响程度。
• 开发一种端到端可微分框架，支持基于反向传播学习 wSTL 公式，从而提升训练效率和模型可解释性。
• 通过新型稀疏化技术降低模型复杂度和内存占用，同时不牺牲性能。

提出的方法

• wSTL-NN 框架将每个神经元映射到一个 wSTL 子公式，神经元输出表示该子公式的定量满足度。
• 提出一种新型 wSTL 定量满足度函数，采用加权最小-最大聚合方式，确保零权重不产生影响、按权重大小排序影响程度，并满足单调性。
• 该框架完全可微分，支持端到端反向传播训练，可同时学习谓词参数和重要性权重。
• 引入两种稀疏化技术：top-𝑠 稀疏化和基于门控变量的稀疏化，以减少模型复杂度和内存使用。
• wSTL-NN 在包含 744 个训练样本和 186 个测试样本的占用检测数据集上进行训练，使用公式结构 𝜙̃ = □[0,15]^𝐰 π。
• 模型学习到一个包含 5 维特征权重的谓词 π 和在 16 个时间点上归一化的权重 𝐰̄。

实验结果

研究问题

• RQ1 能否设计一种可微分的神经符号框架，从时间序列数据中学习加权信号时序逻辑（wSTL）公式？
• RQ2 所提出的 wSTL 定量满足度函数是否能通过权重排序和零权重无影响，正确反映用户指定的偏好？
• RQ3 与经典机器学习模型相比，wSTL-NN 是否能在保持模型可解释性的同时实现高分类准确率？
• RQ4 稀疏化技术对 wSTL-NN 的性能和内存效率有何影响？
• RQ5 wSTL-NN 的训练速度是否显著快于传统的非可微分 STL 学习方法？

主要发现

• wSTL-NN 在占用检测数据集上实现了 99.46% 的分类准确率，与所有测试的经典机器学习模型（包括 LDA、KNN 和 SVM）相比均达到或超过其性能。
• 所学习的 wSTL 公式 𝜙̃ = □[0,15]^𝐰 π 具有可解释性，包含一个 5 维谓词 π 和在 16 个时间点上归一化的权重 𝐰̄，能反映时间上的重要性分布。
• wSTL-NN 的训练时间为 0.385 秒，相比传统 STL 学习方法通过非凸优化所需 269.7 秒，实现了 700 倍的速度提升。
• 基于门控变量的稀疏化在 𝑠̄=4 时达到 98.92% 的准确率，而 top-𝑠 稀疏化需更高的 𝑠̄ 才能达到相同性能，表明门控稀疏化更高效。
• wSTL-NN 保持了高敏感性（1.0）和高特异性（0.991），在阳性预测值和阴性预测值方面优于决策树。
• 所提出的 wSTL 定量满足度函数满足全部三项理想特性：零权重无影响、按权重大小排序影响程度、以及单调性。