[论文解读] Geometry-Aware Supertagging with Heterogeneous Dynamic Convolutions

Konstantinos Kogkalidis, Michael Moortgat|arXiv (Cornell University)|Mar 23, 2022

Natural Language Processing Techniques被引用 6

一句话总结

该论文提出了一种基于异质动态图卷积的几何感知超标签框架，以显式建模范畴语法类别线性序列与树状内部组合结构。通过在结构化输出空间上利用图卷积——结合句子顺序、子词表示以及树内与树间依赖关系——该方法在多种语言和形式系统中实现了最先进性能，显著提升了对罕见及 OOV（未登录词）类别的预测效果。

ABSTRACT

The syntactic categories of categorial grammar formalisms are structured units made of smaller, indivisible primitives, bound together by the underlying grammar's category formation rules. In the trending approach of constructive supertagging, neural models are increasingly made aware of the internal category structure, which in turn enables them to more reliably predict rare and out-of-vocabulary categories, with significant implications for grammars previously deemed too complex to find practical use. In this work, we revisit constructive supertagging from a graph-theoretic perspective, and propose a framework based on heterogeneous dynamic graph convolutions aimed at exploiting the distinctive structure of a supertagger's output space. We test our approach on a number of categorial grammar datasets spanning different languages and grammar formalisms, achieving substantial improvements over previous state of the art scores. Code will be made available at https://github.com/konstantinosKokos/dynamic-graph-supertagging

研究动机与目标

• 为解决构造性超标签中低资源与未登录类别预测的挑战，通过显式建模句法范畴的几何结构。
• 克服先前基于序列或自回归模型的局限性，这些模型未能捕捉范畴树之间的结构依赖关系。
• 设计一种可微分、端到端的框架，在保持良好时间与内存复杂度的同时支持并行解码。
• 整合树内与树间上下文流，以提升对罕见及未见句法范畴的泛化能力。
• 提供结构受限、构造即有效（valid-by-construction）的输出空间，真实反映范畴语法类型的真实分层性质。

提出的方法

• 该模型将超标签器的输出空间表示为异质动态图，其中节点对应类别成分，边编码结构关系（如父子、兄弟、句子顺序等）。
• 采用异质图注意力网络处理多种边类型（如树结构、词序、子词）的独立表示与尺度。
• 通过动态图补全机制建模自回归依赖关系，将每个预测步骤与树节点的高阶邻域对齐，实现结构化上下文流动。
• 框架使用上下文感知的子词嵌入，并通过基于图的解码过程强制执行结构有效性，以符合类别构成规则。
• 通过解耦每棵树的预测同时保持结构一致性，实现在整个序列上的并行解码。
• 该模型为端到端可微分结构，无需预定义词汇表，从而在未见类别上实现稳健泛化。

实验结果

研究问题

• RQ1 显式建模句法范畴的几何结构是否能提升超标签性能，尤其是对罕见或未登录词类别？
• RQ2 树内与树间上下文流在构造性超标签中的泛化能力中分别起到何种作用？
• RQ3 基于图的方法是否能在保持高效并行推理的同时，实现比自回归或序列模型更高的准确率？
• RQ4 引入异质边类型（如树边、词序）在输出空间表示学习中能增强多少？
• RQ5 是否可行设计一种可微分、构造即有效（valid-by-construction）的超标签框架，避免标准Transformer的二次方复杂度？

主要发现

• 所提模型在涵盖三种语言与四种语法形式系统的四个多样化范畴语法数据集上均达到新的最先进性能。
• 消融实验表明，树内与树间上下文流对性能均至关重要，任一缺失均导致准确率显著下降。
• 通过显式建模句法类型的分层结构，该模型显著提升了对罕见及未登录词类别的泛化能力。
• 与标准Transformer解码器相比，该框架在时间与内存复杂度方面保持优势，支持更快、更可扩展的推理。
• 异质动态图卷积的使用实现了多种结构信号（如词序、树结构、子词特征）的有效整合，且无需固定词汇表。
• 尽管性能提升显著，该模型的解码过程与标准贪婪法或束搜索不兼容，限制了下游解析中多假设预测的能力。