[论文解读] Do latent tree learning models identify meaningful structure in sentences?

Adina Williams, Andrew Drozdov+1 more|arXiv (Cornell University)|Sep 4, 2017

Natural Language Processing Techniques参考文献 30被引用 7

一句话总结

本文研究神经句法解析中的潜在树学习模型是否能发现有意义且具有语言学可解释性的句法结构。尽管在文本蕴涵等句法理解任务中表现优于传统解析器，这些模型仍学习到不一致、浅层且非标准的解析策略，与宾州树库语法或既定的句法/语义原则不符。

ABSTRACT

Recent work on the problem of latent tree learning has made it possible to train neural networks that learn to both parse a sentence and use the resulting parse to interpret the sentence, all without exposure to ground-truth parse trees at training time. Surprisingly, these models often perform better at sentence understanding tasks than models that use parse trees from conventional parsers. This paper aims to investigate what these latent tree learning models learn. We replicate two such models in a shared codebase and find that (i) only one of these models outperforms conventional tree-structured models on sentence classification, (ii) its parsing strategies are not especially consistent across random restarts, (iii) the parses it produces tend to be shallower than standard Penn Treebank (PTB) parses, and (iv) they do not resemble those of PTB or any other semantic or syntactic formalism that the authors are aware of.

研究动机与目标

• 评估潜在树学习模型是否能在句子中发现具有语言学意义的句法结构。
• 比较这些模型在多次随机初始化下所学习到的解析策略的一致性与可解释性。
• 评估所生成的解析结构与标准句法形式化体系（如宾州树库（PTB）语法）的相似程度。
• 探究这些模型在句法理解任务中取得成功的原因是否源于有原则的句法结构，或源于其他机制。
• 探讨这些发现对未来神经句法编码架构设计的启示。

提出的方法

• 在统一代码库中重新实现两种最先进的潜在树学习模型——ST-Gumbel（Choi et al., 2018）和RL-SPINN（Yogatama et al., 2017），以实现直接比较。
• 在SNLI和MultiNLI数据集上对两种模型进行端到端训练，用于文本蕴涵任务，且不使用任何真实句法解析的监督信号。
• 在下游句法分类任务（MultiNLI、SNLI）上定量评估模型性能，并对解析结构进行定性分析。
• 对生成的解析树进行定性分析，与PTB风格的解析进行比较，并评估成分的可解释性。
• 通过多次随机初始化下的稳定性检查，评估所学解析策略的一致性。
• 分析模型在功能词、修饰语和句法成分上的解析行为，以检测异常现象和非标准结构。

实验结果

研究问题

• RQ1 潜在树学习模型在不同随机权重初始化下是否产生一致的解析策略？
• RQ2 所生成的解析树在多大程度上类似于标准句法形式化体系（如宾州树库（PTB）语法）？
• RQ3 这些模型识别出的成分是否具有可解释性且语义连贯？还是形成了异常或无意义的单位？
• RQ4 为何这些模型在句法理解任务中表现优于使用传统解析的模型，尽管其解析行为非标准？
• RQ5 哪些结构或组合特性使这些模型在未学习语言学上合理的句法结构的情况下仍能实现强大性能？

主要发现

• 仅ST-Gumbel模型在句法分类任务中优于传统树结构模型，尤其在MultiNLI和SNLI任务上表现突出。
• ST-Gumbel模型在多次随机初始化下表现出高度不一致的解析策略，尤其在处理功能词和修饰语时更为明显。
• ST-Gumbel生成的解析结构显著浅于标准宾州树库（PTB）解析，其层次结构更少。
• ST-Gumbel生成的许多成分（如'we briefly'或'the students acted with'）语义上异常，无法被解释为连贯的意义单元。
• RL-SPINN模型采用了简单且高度一致的左分支解析策略，但仍未生成具有语言学意义的结构。
• 尽管解析行为非标准且不一致，两种模型在句法理解任务中均取得了优异表现，表明有原则的句法结构可能并非有效表征学习的必要条件。