[论文解读] A* CCG Parsing with a Supertag and Dependency Factored Model

Masashi Yoshikawa, Hiroshi Noji+1 more|arXiv (Cornell University)|Apr 23, 2017

Natural Language Processing Techniques参考文献 24被引用 11

一句话总结

该论文提出了一种A* CCG解析模型，将CCG树的概率分解为超标签类别和句法依存关系两部分，两者均通过双向LSTM进行预测。通过联合建模超标签与核心词依存关系，该方法在无需确定性规则的情况下解决了依存歧义问题，实现了高效的预计算，并在英语和日语CCG解析基准上取得了最先进性能。

ABSTRACT

We propose a new A* CCG parsing model in which the probability of a tree is decomposed into factors of CCG categories and its syntactic dependencies both defined on bi-directional LSTMs. Our factored model allows the precomputation of all probabilities and runs very efficiently, while modeling sentence structures explicitly via dependencies. Our model achieves the state-of-the-art results on English and Japanese CCG parsing.

研究动机与目标

• 通过显式建模句法依存关系，解决在超标签化之后仍存在的依存歧义问题。
• 通过保持模型的局部因子化结构，维持A*搜索的效率，从而实现所有概率的预计算。
• 在英语和日语中提升解析准确率，尤其在自由词序语言中，这些语言中确定性启发式规则会失效。
• 将三重训练方法扩展至联合从未标注数据中学习超标签与依存核心词。

提出的方法

• 模型使用双向LSTM联合预测句子中每个词的超标签和核心词。
• CCG树的概率被分解为超标签概率与依存核心词概率的乘积，两者均独立地按词计算。
• 采用双线性变换对潜在核心词进行打分，从而实现依存模型的端到端可微训练。
• 利用未标注数据进行三重训练以提升泛化能力，尤其在低资源设置下表现更优。
• 在联合得分上应用A*搜索，通过预计算的概率实现高效推理。
• 采用交叉熵损失对超标签与核心词预测任务进行端到端联合训练。

实验结果

研究问题

• RQ1 显式建模句法依存关系是否能超越仅依赖超标签化的方式，进一步提升A* CCG解析性能？
• RQ2 通过双向LSTM联合学习超标签与依存关系，是否能在保持A*解析效率的同时提升准确率？
• RQ3 在自由词序语言（如日语）中，该模型能否超越‘attach low’等确定性启发式规则？
• RQ4 利用未标注数据进行三重训练，在多大程度上能提升CCG解析任务的性能？

主要发现

• 在英语CCGbank测试集上，该模型达到94.0%的无标签F1和88.8%的有标签F1，创下新的最先进水平。
• 在日语CCG解析任务中，该模型在从句依存关系准确率上相比使用‘attach low’启发式规则的基线方法提升了10.0个百分点。
• 超标签与依存关系的联合建模消除了对确定性依存规则的依赖，解决了纯超标签模型中仍存在的歧义问题。
• 通过预计算所有概率，该方法保持了高效率，实现了无需递归神经网络的快速A*搜索。
• 三重训练方法显著提升了英语和日语上的性能，证明了利用未标注数据的优势。