[论文解读] Inference from Stationary Time Sequences via Learned Factor Graphs.

Nir Shlezinger, Nariman Farsad+2 more|arXiv (Cornell University)|Jun 5, 2020

Fractal and DNA sequence analysis参考文献 46被引用 7

一句话总结

该论文提出 StaSPNet，一种与模型无关的框架，通过将基于模型的推理与学习到的因子图相结合，实现对平稳时间序列的精确、可泛化的推理。通过训练神经网络学习平稳因子图的特定组件，StaSPNet 在多样任务（如睡眠阶段检测和符号检测）中实现了高性能，且仅需少量数据和可变长度序列。

ABSTRACT

The design of methods for inference from time sequences has traditionally relied on statistical models that describe the relation between a latent desired sequence and the observed one. A broad family of model-based algorithms have been derived to carry out inference at controllable complexity using recursive computations over the factor graph representing the underlying distribution. An alternative model-agnostic approach utilizes machine learning (ML) methods. Here we propose a framework that combines model-based inference algorithms and data-driven ML tools for stationary time sequences. In the proposed approach, neural networks are developed to separately learn specific components of a factor graph describing the distribution of the time sequence, rather than the complete inference task. By exploiting stationary properties of this distribution, the resulting approach can be applied to sequences of varying temporal duration. Additionally, this approach facilitates the use of compact neural networks which can be trained with small training sets, or alternatively, can be used to improve upon existing deep inference systems. We present an inference algorithm based on learned stationary factor graphs, referred to as StaSPNet, which learns to implement the sum product scheme from labeled data, and can be applied to sequences of different lengths. Our experimental results demonstrate the ability of the proposed StaSPNet to learn to carry out accurate inference from small training sets for sleep stage detection using the Sleep-EDF dataset, as well as for symbol detection in digital communications with unknown channels.

研究动机与目标

• 开发一种混合方法，将基于模型的推理与数据驱动学习相结合，用于平稳时间序列。
• 通过利用底层分布的平稳性，实现在不同时间长度序列上的推理。
• 通过学习因子图的各个组件而非端到端推理，降低深度推理模型的复杂度和数据需求。
• 在低数据场景下（如睡眠阶段分类和未知信道中的符号检测）提升性能。
• 设计一种紧凑的神经网络架构，通过平稳因子图分解实现在不同序列长度上的泛化能力。

提出的方法

• 该框架将平稳时间序列的因子图分解为可学习的组件，如局部因子和消息传递规则。
• 使用神经网络训练以学习因子图的特定部分，包括条件概率分布和消息计算函数。
• 该方法利用平稳性，确保所学习的组件对序列长度不敏感，从而实现在不同持续时间上的泛化。
• 推理通过学习到的求和-乘积算法执行，其中消息由在标注数据上训练的神经网络计算。
• 该架构设计紧凑，减少参数数量，支持小样本数据训练。
• 该方法支持迁移学习，可通过替换或优化组件来增强现有深度推理系统。

实验结果

研究问题

• RQ1 学习到的因子图框架能否在仅使用极少标注数据的情况下，实现对平稳时间序列的精确推理？
• RQ2 所提出方法在保持性能的前提下，如何在不同长度的序列上实现泛化？
• RQ3 在低数据场景下，学习因子图的各个组件在多大程度上优于端到端深度学习？
• RQ4 该框架能否有效应用于真实世界任务，如睡眠阶段检测和数字符号检测？
• RQ5 平稳性假设如何实现时间序列推理中紧凑且可泛化的神经网络组件？

主要发现

• StaSPNet 仅使用少量训练集即可在 Sleep-EDF 数据集上实现精确推理，证明其在低数据场景下的强大泛化能力。
• 由于充分利用了底层分布的平稳性，该模型在不同序列长度间表现出良好泛化能力。
• 该框架支持紧凑的神经网络，其参数量和数据需求均少于端到端深度学习基线模型。
• 在未知信道上的符号检测任务中，StaSPNet 显著优于现有深度推理系统，尤其在训练数据有限时。
• 学习因子图的各个组件相比黑箱端到端模型，具有更高的可解释性和可迁移性。
• 该方法支持有效的微调，并可与现有基于模型的推理流水线有效集成。