[论文解读] A Critical Analysis of Biased Parsers in Unsupervised Parsing

Chris Dyer, Gábor Melis+1 more|arXiv (Cornell University)|Sep 20, 2019

Natural Language Processing Techniques参考文献 21被引用 22

一句话总结

本文批判性地分析了 $ύbar{\textrm{COO}}$ 解析器，这是一种广泛使用的无监督解析方法，通过基于句法深度代理的贪心自顶向下分裂过程，从语言模型表示中推断短语结构树。作者表明，传统LSTM在性能上可与专用架构相媲美，但揭示该解析器存在不完整性，并表现出强烈的右分支结构偏好，导致在英语类语言上性能被高估，从而质疑了语言模型在结构能力方面的宣称。

ABSTRACT

A series of recent papers has used a parsing algorithm due to Shen et al. (2018) to recover phrase-structure trees based on proxies for "syntactic depth." These proxy depths are obtained from the representations learned by recurrent language models augmented with mechanisms that encourage the (unsupervised) discovery of hierarchical structure latent in natural language sentences. Using the same parser, we show that proxies derived from a conventional LSTM language model produce trees comparably well to the specialized architectures used in previous work. However, we also provide a detailed analysis of the parsing algorithm, showing (1) that it is incomplete---that is, it can recover only a fraction of possible trees---and (2) that it has a marked bias for right-branching structures which results in inflated performance in right-branching languages like English. Our analysis shows that evaluating with biased parsing algorithms can inflate the apparent structural competence of language models.

研究动机与目标

• 评估传统LSTM在无监督解析中是否能实现与ON-LSTM等专用架构相当的解析性能。
• 研究 $ύbar{\textrm{COO}}$ 解析算法的结构局限性，特别是其无法恢复所有有效二叉树的问题。
• 分析 $ύbar{\textrm{COO}}$ 解析器因基于最大得分位置的贪心分裂规则而产生的内在偏向，即对右分支结构的偏好。
• 提醒研究人员在使用有偏算法时，避免过度解读无监督解析中较高的F1分数，尤其是在评估语言模型结构能力时。
• 倡导采用不依赖语言分支方向一致性的语言无关解析评估方法。

提出的方法

• 该 $ύbar{\textrm{COO}}$ 解析器通过自顶向下递归地将区间 $[i,j]$ 按照向量 $\mathbf{s} \in \mathbb{R}^n$ 中最大得分位置划分为两个子区间，其中 $s_i$ 表示第 $i$ 个词的句法深度代理。
• 解析器应用四种推理规则：二元分裂（针对单字区间）、左分裂（当最大得分位于最左位置时）、右分裂（当最大得分位于最右位置时）以及中间分裂（当最大得分严格位于区间内部时）。
• 作者使用标准LSTM所有层的遗忘门值之和作为句法深度的代理，以替代专用的ON-LSTM机制，从而确保公平比较。
• 通过分析在分裂规则下可生成的二叉树，评估解析器的完备性，发现由于最大得分依赖于区间边界，许多有效树结构无法被生成。
• 作者对比了解析器的L型变体与R型变体，分别将分割点置于左子节点或右子节点，以隔离决策规则对结构偏向的影响。
• 分析包括形式化证明：该解析器无法生成所有可能的二叉树，特别是那些需要非终结符分裂且最大得分不在端点的情况。

实验结果

研究问题

• RQ1 当使用相同的 $ύbar{\textrm{COO}}$ 解析算法时，传统LSTM能否产生与ON-LSTM等专用架构相当的解析性能？
• RQ2 $ύbar{\textrm{COO}}$ 解析器在多大程度上能够恢复所有可能的二叉短语结构树？
• RQ3 基于最大得分位置的贪心分裂规则如何导致对右分支树的结构偏向？
• RQ4 这种结构偏向对评估语言模型句法能力（尤其是英语等右分支语言）有何影响？
• RQ5 如何使解析评估更具语言无关性，以避免因算法偏向而高估结构能力？

主要发现

• 当使用相同的 $ύbar{\textrm{COO}}$ 解析算法时，传统LSTM可实现与专用ON-LSTM架构相当的解析性能。
• $ύbar{\textrm{COO}}$ 解析器存在不完整性：由于分裂规则依赖于最大得分位置，某些结构配置无法被生成，导致无法恢复所有可能的二叉树。
• 该解析器表现出强烈的右分支结构偏好，因为一个区间的最大得分始终保留在其子区间之一中，从而倾向于将最大得分置于最右位置的分裂。
• 这种结构偏向导致在右分支语言（如英语）上F1分数被高估，从而高估了底层语言模型的实际结构能力。
• 该解析器无法生成所有有效树结构，严重削弱了其作为诊断工具在评估神经语言模型句法结构发现能力方面的可靠性。
• 替代性评分方案（如对词间转移评分或对区间评分而非单个词评分）可能缓解该偏向，但需要新的连接假设将它们与神经网络激活关联。