[论文解读] Factored Latent-Dynamic Conditional Random Fields for Single and Multi-label Sequence Modeling

Satyajit Neogi, Justin Dauwels|arXiv (Cornell University)|Nov 9, 2019

Music and Audio Processing被引用 16

一句话总结

该论文提出了一种因子化隐马尔可夫动态条件随机场（Factored Latent-Dynamic Conditional Random Fields, FLDCRF），一种结构化概率模型，通过在每个类别标签下对多个相互作用的隐马尔可夫动态进行因子化隐藏状态层建模，从而提升序列标注性能。与CRF、LDCRF、LSTM及LSTM-CRF模型相比，FLDCRF在单标签和多标签序列任务中均表现更优，在手势识别任务中比最佳LSTM模型高出约4%的准确率，在多标签活动标注任务中平均提升2%，同时训练速度更快，验证集与测试集性能更一致。

ABSTRACT

Conditional Random Fields (CRF) are frequently applied for labeling and segmenting sequence data. Morency et al. (2007) introduced hidden state variables in a labeled CRF structure in order to model the latent dynamics within class labels, thus improving the labeling performance. Such a model is known as Latent-Dynamic CRF (LDCRF). We present Factored LDCRF (FLDCRF), a structure that allows multiple latent dynamics of the class labels to interact with each other. Including such latent-dynamic interactions leads to improved labeling performance on single-label and multi-label sequence modeling tasks. We apply our FLDCRF models on two single-label (one nested cross-validation) and one multi-label sequence tagging (nested cross-validation) experiments across two different datasets - UCI gesture phase data and UCI opportunity data. FLDCRF outperforms all state-of-the-art sequence models, i.e., CRF, LDCRF, LSTM, LSTM-CRF, Factorial CRF, Coupled CRF and a multi-label LSTM model in all our experiments. In addition, LSTM based models display inconsistent performance across validation and test data, and pose diffculty to select models on validation data during our experiments. FLDCRF offers easier model selection, consistency across validation and test performance and lucid model intuition. FLDCRF is also much faster to train compared to LSTM, even without a GPU. FLDCRF outshines the best LSTM model by ~4% on a single-label task on UCI gesture phase data and outperforms LSTM performance by ~2% on average across nested cross-validation test sets on the multi-label sequence tagging experiment on UCI opportunity data. The idea of FLDCRF can be extended to joint (multi-agent interactions) and heterogeneous (discrete and continuous) state space models.

研究动机与目标

• 为解决隐马尔可夫动态条件随机场（LDCRF）在每个类别标签下仅能建模单一、非相互作用的隐马尔可夫动态的局限性。
• 通过允许多个隐马尔可夫动态之间的交互，提升单标签和多标签设置下的序列标注性能。
• 通过受因子化隐马尔可夫模型（Factorial HMMs）启发的因子化隐藏状态结构，降低模型复杂度和参数数量。
• 开发一种具有更高可解释性、更易进行超参数选择且训练速度优于LSTM等深度学习基线模型的模型。
• 将框架扩展至联合与异质状态空间建模，以提升其广泛应用潜力。

提出的方法

• FLDCRF在每个时间步引入多个独立的隐藏状态变量（如 $h_{1,t}, h_{2,t}$），每个变量捕捉类别标签内的一个独立隐马尔可夫动态。
• 每个类别标签 $y_t$ 关联一组互不相交的隐藏状态 $\mathcal{H}_\ell$，且模型强制要求 $h_t \in \mathcal{H}_{y_t}$，以确保标签一致性。
• 模型采用条件随机场公式化，其特征函数 $F_k$ 同时依赖于观测值 $\mathbf{x}$ 和隐藏状态 $\mathbf{h}$，从而实现对观测特征与转移特征的联合建模。
• 条件概率 $P(\mathbf{y}|\mathbf{x}, \theta)$ 通过在所有符合标签约束的有效隐藏状态序列 $\mathbf{h}$ 上求和计算，使用归一化常数 $Z(\mathbf{x}, \theta)$。
• 通过前向-后向算法或Viterbi算法进行推理，以计算在线预测所需的边缘概率 $P(y_t | \mathbf{x}_{1:t}, \theta)$。
• 通过最大化条件对数似然并引入L2正则化来训练模型参数，以防止过拟合。

实验结果

研究问题

• RQ1 在单标签和多标签任务中，对每个类别标签建模多个相互作用的隐马尔可夫动态是否能提升序列标注的准确率？
• RQ2 与LDCRF相比，因子化隐藏状态结构是否能在保持或提升性能的同时降低模型复杂度和参数数量？
• RQ3 在真实世界序列数据上，FLDCRF与LSTM和LSTM-CRF等深度学习模型相比，在性能和训练效率方面表现如何？
• RQ4 FLDCRF是否能实现比LSTM模型更一致的验证集与测试集性能，从而避免后者的性能波动？
• RQ5 FLDCRF框架在多大程度上可被扩展至异质或联合状态空间建模？

主要发现

• 在所有实验中，FLDCRF均优于所有当前最先进模型，包括CRF、LDCRF、LSTM、LSTM-CRF、因子化CRF、耦合CRF以及多标签LSTM。
• 在UCI手势阶段数据集上，FLDCRF在单标签序列标注任务中比最佳LSTM模型高出约4%的性能。
• 在多标签UCI机会数据集上，FLDCRF在嵌套交叉验证测试集上平均比最佳LSTM模型高出2%的性能。
• FLDCRF在验证集与测试集之间表现出一致的性能，而LSTM模型则表现出不一致性，导致模型选择困难。
• 由于其结构化、可微分且参数高效的特性，FLDCRF的训练速度显著快于LSTM，即使未使用GPU加速。
• 与黑箱深度学习模型相比，该模型具有更高的可解释性与直观结构，通过隐藏状态显式建模内在与外在动态。