[论文解读] Probabilistic Topic and Syntax Modeling with Part-of-Speech LDA

William Darling, Fei Song|arXiv (Cornell University)|Mar 12, 2013

Natural Language Processing Techniques参考文献 37被引用 6

一句话总结

本文提出部分词性LDA（POSLDA），一种联合建模文本中语义主题与句法词性的概率生成模型。通过建模针对主题和词性特定的词分布（如‘关于天气的名词’或‘关于法律的动词’），POSLDA 提升了无监督词性标注性能，在 WSJ 数据集上达到 87.7% 的准确率，比当前最优的贝叶斯 HMM 方法高出 1.5 个百分点。

ABSTRACT

This article presents a probabilistic generative model for text based on semantic topics and syntactic classes called Part-of-Speech LDA (POSLDA). POSLDA simultaneously uncovers short-range syntactic patterns (syntax) and long-range semantic patterns (topics) that exist in document collections. This results in word distributions that are specific to both topics (sports, education, ...) and parts-of-speech (nouns, verbs, ...). For example, multinomial distributions over words are uncovered that can be understood as "nouns about weather" or "verbs about law". We describe the model and an approximate inference algorithm and then demonstrate the quality of the learned topics both qualitatively and quantitatively. Then, we discuss an NLP application where the output of POSLDA can lead to strong improvements in quality: unsupervised part-of-speech tagging. We describe algorithms for this task that make use of POSLDA-learned distributions that result in improved performance beyond the state of the art.

研究动机与目标

• 开发一种统一的概率模型，以捕捉文本中的语义主题与句法词类。
• 通过利用主题-句法词分布的联合建模，改进无监督词性标注。
• 证明结合语义与句法结构可提升语言建模与自然语言处理任务的性能。
• 探索 POSLDA 作为结构化语言生成与摘要任务基础的潜力。

提出的方法

• POSLDA 通过为每个词引入主题与词性标签的联合分配，扩展了潜在狄利克雷分配（LDA）模型，建模基于主题与词性组合的词分布。
• 该模型采用联合生成过程，其中每个词被分配一个主题与一个词性标签，词分布定义在主题-词性组合之上。
• 使用基于吉布斯采样的近似推理算法，并采用模拟退火策略以收敛至标签序列的最大后验估计（MAP）。
• 采样分布通过加权似然进行更新：$ p(z_i, c_i | m{c_{-i}}, m{z_{-i}}, m{w}) \propto p(z_i, c_i | m{c_{-i}}, \bm{z_{-i}}, \bm{w}) \times \lambda_{w,c_i} $，其中 $ \lambda_{w,c_i} $ 编码了词特定的词性似然。
• 通过直接优化或采样方式优化超参数 $ \alpha $、$ \gamma $ 和 $ \beta $，实验中使用 $ K=10 $ 个主题与 6 个语义类别。
• 在 Wall Street Journal (WSJ) 数据集上，使用准确率与互信息（VI）指标，评估不同 $ d $ 值（每个词的标签数）下的模型性能。

实验结果

研究问题

• RQ1 联合建模主题与词性是否能提升所学主题分布的质量？
• RQ2 将句法结构整合进主题建模是否能提升无监督词性标注的性能？
• RQ3 POSLDA 与贝叶斯 HMM（BHMM）相比，在标注准确率与聚类质量方面表现如何？
• RQ4 由于其结构化的词建模方式，POSLDA 是否能实现低于标准 LDA 及其他相关模型的困惑度？
• RQ5 联合模型在语言生成中的预测能力与连贯性方面，改善程度如何？

主要发现

• 当 $ d=1 $ 时，POSLDA 在 WSJ 数据集上实现了 87.7% 的无监督词性标注准确率，比贝叶斯 HMM（BHMM）高出 1.3 个百分点。
• 在所有 $ d $ 值下，POSLDA 的准确率均高于 BHMM，提升幅度在 1.3 至 1.5 个百分点之间。
• 与 BHMM 相比，POSLDA 将互信息（VI）降低了 0.04 至 0.08 个点，表明词性标签聚类质量更高。
• 在 $ d=1 $ 时，POSLDA 的互信息为 0.73，而 BHMM 为 0.77，表明其标签分配更具一致性。
• 结果在 $ p \ll 0.01 $ 水平上具有统计显著性，确认 POSLDA 的性能提升并非由随机波动导致。
• POSLDA 的困惑度低于基线模型，表明其因整合了句法结构而具备更强的预测能力。