[论文解读] Identifiability and Unmixing of Latent Parse Trees

Daniel Hsu, Sham M. Kakade+1 more|arXiv (Cornell University)|Jun 14, 2012

Natural Language Processing Techniques参考文献 28被引用 23

一句话总结

本文通过数值雅可比秩检验建立了某些潜在解析树模型的可识别性，并提出一种新颖的去混叠技术，以在树拓扑结构变化的情况下高效估计参数。研究证明，简化版PCFG和依存模型是可识别的，而标准PCFG则不是，并提供了基于谱的方法，可在无需先验树结构标注的情况下恢复参数。

ABSTRACT

This paper explores unsupervised learning of parsing models along two directions. First, which models are identifiable from infinite data? We use a general technique for numerically checking identifiability based on the rank of a Jacobian matrix, and apply it to several standard constituency and dependency parsing models. Second, for identifiable models, how do we estimate the parameters efficiently? EM suffers from local optima, while recent work using spectral methods cannot be directly applied since the topology of the parse tree varies across sentences. We develop a strategy, unmixing, which deals with this additional complexity for restricted classes of parsing models.

研究动机与目标

• 确定在无限数据下，哪些生成式解析模型是可识别的，特别是那些在句子间解析树拓扑结构各异的模型。
• 解决在树结构未被观测且跨句子变化的模型中参数估计的挑战。
• 开发一种计算高效的无监督解析模型学习方法，避免EM算法的局部最优问题。
• 将谱方法——此前仅限于固定拓扑结构模型——扩展至具有动态、句子特定树结构的模型。

提出的方法

• 使用基于雅可比矩阵秩的数值可识别性检测器，评估模型参数是否能从无限数据中唯一恢复。
• 通过引理1进行谱分解，从观测到的低阶矩中恢复矩阵分量，利用矩阵乘积和特征值分解。
• 引入去混叠技术，将矩表示为可能树拓扑的混合，然后通过去混叠恢复固定拓扑子问题的参数。
• 使用伪逆和矩阵运算，恢复初始分布、转移矩阵和发射矩阵，至多为排列和缩放变换。
• 通过构建最大长度至L_max的句子长度上矩的混合矩阵，将方法扩展至更长的句子。
• 通过选择性组合矩（例如μ₁₃ − μ₁₂）推导出矩阵函数（如AA + A）的方程，实现对角化并恢复A。

实验结果

研究问题

• RQ1 当树拓扑在句子间变化时，标准的短语结构和依存解析模型中，哪些模型能从无限数据中实现可识别性？
• RQ2 谱方法能否被调整以估计具有非固定、可变树拓扑结构的解析模型的参数？
• RQ3 是否可能在不依赖解析树结构先验知识的情况下，仅通过观测到的句子词汇来估计模型参数？
• RQ4 模型结构需满足何种条件，才能使雅可比秩检验确认可识别性？
• RQ5 当拓扑未被观测且具有异质性时，如何对可观测分布的矩进行分解，以恢复潜在参数？

主要发现

• 概率上下文无关文法（PCFG）由于参数冗余，不可识别，该结论经由雅可比秩检验确认。
• PCFG的简化变体和依存模型（如DEP-IES）在所提出的数值准则下是可识别的。
• 去混叠技术成功地在无需训练时提供树标注的情况下恢复了可识别模型的参数。
• 对于DEP-IES模型，该方法通过求解由矩差导出的二次方程，恢复了初始分布π和转移矩阵A。
• 该算法仅使用长度为3和长度为2的句子即可实现参数恢复，经A的对角化后获得闭式解。
• 混合矩阵方法使模型可扩展至长度达L_max的句子，其中L_max=10时使用了990×2376的矩阵，同时保持了可识别性和可恢复性。