[论文解读] Recursive Subtree Composition in LSTM-Based Dependency Parsing

Miryam de Lhoneux, Miguel Ballesteros+1 more|arXiv (Cornell University)|Feb 26, 2019

Topic Modeling参考文献 27被引用 8

一句话总结

本文研究了BiLSTM-based转换依存解析中的递归子树组合机制，发现尽管BiLSTM已能捕捉大量子树信息，但递归组合仍能提供互补性提升，尤其在缺少前向LSTM上下文时更为显著。当移除前向LSTM时，组合机制在恢复性能方面表现最佳，表明其能有效捕捉基于历史的特征，但完整BiLSTM整体性能仍更优。

ABSTRACT

The need for tree structure modelling on top of sequence modelling is an open issue in neural dependency parsing. We investigate the impact of adding a tree layer on top of a sequential model by recursively composing subtree representations (composition) in a transition-based parser that uses features extracted by a BiLSTM. Composition seems superfluous with such a model, suggesting that BiLSTMs capture information about subtrees. We perform model ablations to tease out the conditions under which composition helps. When ablating the backward LSTM, performance drops and composition does not recover much of the gap. When ablating the forward LSTM, performance drops less dramatically and composition recovers a substantial part of the gap, indicating that a forward LSTM and composition capture similar information. We take the backward LSTM to be related to lookahead features and the forward LSTM to the rich history-based features both crucial for transition-based parsers. To capture history-based information, composition is better than a forward LSTM on its own, but it is even better to have a forward LSTM as part of a BiLSTM. We correlate results with language properties, showing that the improved lookahead of a backward LSTM is especially important for head-final languages.

研究动机与目标

• 确定在BiLSTM特征提取器已能捕捉层次化信息的前提下，递归子树组合是否仍具有实际价值。
• 识别组合机制在何种条件下能提升性能，特别是当BiLSTM部分被移除时。
• 评估词性标注（POS tags）与递归组合在捕捉上下文特征方面是否存在冗余。
• 探究语言类型学，尤其是句法主干方向性（head-directionality），是否影响组合机制与前瞻特征的有效性。

提出的方法

• 采用Kiperwasser和Goldberg（2016b）风格的基于转换的解析器，并使用BiLSTM进行特征提取。
• 在BiLSTM输出基础上，引入类似Tree-LSTM的机制，对子树表示进行递归组合。
• 通过移除前向LSTM、后向LSTM或两者，进行消融实验，并在有无组合机制下评估性能。
• 移除词性标注和字符级嵌入，以检验其与组合机制之间的冗余性。
• 通过重新解析（Chu-Liu-Edmonds）的集成解码方法，在多个模型变体上评估互补信息。
• 将11种语言的解析性能与句法属性（如主干方向性、平均弧深度）进行相关性分析。

实验结果

研究问题

• RQ1 在使用BiLSTM特征提取器的前提下，递归子树组合是否能带来显著性能提升，还是与已有机制冗余？
• RQ2 在应用组合机制后，移除前向或后向LSTM所导致的性能差距有何差异？
• RQ3 递归组合与词性标注在捕捉上下文特征方面，其冗余程度如何？
• RQ4 组合机制在不同语言中的有效性是否存在差异，尤其是在动词后置语言与动词前置语言之间？
• RQ5 后向LSTM提供的前瞻能力如何影响解析性能，尤其在动词后置语言中？

主要发现

• 移除后向LSTM导致性能显著下降，而组合机制无法有效恢复，表明前瞻特征至关重要，且未被组合机制完全捕捉。
• 移除前向LSTM导致性能下降较小，而组合机制能显著恢复性能，表明组合机制与前向LSTM均捕捉了类似的丰富历史特征。
• 当移除词性标注时，组合机制的收益最大，表明词性标注与组合机制在上下文特征学习方面存在部分冗余。
• 后向LSTM的前瞻能力在动词后置语言中尤为重要，此时组合机制的增益低于动词前置语言。
• 将含组合与不含组合的模型进行集成，可获得高于任一单个模型的UAS，完整集成模型在捷克语上达到92.0 UAS，在英语上达到87.2 UAS，优于所有单个组件。
• 未发现平均弧深度与组合机制有效性之间存在明确相关性，表明结构复杂度本身并不能决定组合机制的有效性。