[论文解读] A Dynamic Window Neural Network for CCG Supertagging

Huijia Wu, Jiajun Zhang+1 more|arXiv (Cornell University)|Oct 10, 2016

Natural Language Processing Techniques被引用 4

一句话总结

本文提出一种用于CCG超词性标注的动态窗口神经网络，通过可学习的逻辑门自适应选择相关上下文词，取代固定大小的窗口。通过在这些门上应用dropout，该方法实现了词级别的正则化，提升了泛化能力，并在CCGBank 02-21测试集上，于MLP和RNN架构中均取得了新的 SOTA 性能表现。

ABSTRACT

Combinatory Category Grammar (CCG) supertagging is a task to assign lexical categories to each word in a sentence. Almost all previous methods use fixed context window sizes as input features. However, it is obvious that different tags usually rely on different context window sizes. These motivate us to build a supertagger with a dynamic window approach, which can be treated as an attention mechanism on the local contexts. Applying dropout on the dynamic filters can be seen as drop on words directly, which is superior to the regular dropout on word embeddings. We use this approach to demonstrate the state-of-the-art CCG supertagging performance on the standard test set.

研究动机与目标

• 为解决现有CCG超词性标注方法中固定上下文窗口大小的局限性，这些方法无法根据词语歧义水平的变化进行自适应调整。
• 通过引入一种动态过滤机制，学习每个目标词最相关的上下文词，从而提升泛化能力。
• 通过直接在动态过滤门上应用dropout，增强模型鲁棒性，实现有效的词级别正则化。
• 在多种架构（包括MLP和RNN，包括LSTM）上验证动态窗口方法的有效性。
• 通过可视化学习到的注意力模式，提升模型的可解释性。

提出的方法

• 模型在目标词周围的局部窗口中，为每个上下文词使用一个逻辑门，使网络能够学习关注哪些上下文词。
• 门值通过将上下文表征输入可微分的sigmoid函数计算得出，支持端到端训练。
• 训练期间对门值应用dropout，有效屏蔽整个上下文词，起到词级别正则化的作用。
• 最终的上下文表征通过门控拼接词特征构成，仅高激活门的贡献显著。
• 该方法被应用于前馈（MLP）和循环（LSTM）网络，在两种架构中均取得一致的性能提升。
• 该架构通过动态过滤实现类似注意力的行为，无需依赖加权注意力机制或记忆网络。

实验结果

研究问题

• RQ1 与固定窗口相比，可学习的动态上下文窗口是否能提升CCG超词性标注的性能？
• RQ2 在动态过滤门上应用dropout是否比在词嵌入上应用标准dropout具有更好的泛化效果？
• RQ3 动态过滤门在训练过程中如何自适应调整？它们是否聚焦于语义相关的上下文词？
• RQ4 该动态窗口机制能否有效应用于前馈和循环神经网络？
• RQ5 模型的注意力行为在多大程度上符合语言学直觉，例如聚焦于附近的句法成分？

主要发现

• 动态窗口方法显著优于固定窗口模型，在标准CCGBank 02-21测试集上达到SOTA性能。
• 在开发集上，使用动态窗口的LSTM（LSTM + dyn）初始性能较低，但在20个epoch后超越基线，表明其泛化能力更强，过拟合更少。
• 可视化结果表明，收敛后模型学会抑制远距离上下文词，聚焦于附近语义相关的词。
• 该方法在MLP和RNN架构中均提升性能，证明其广泛适用性。
• 在动态门上应用dropout带来显著性能增益，验证了其作为词级别正则化手段的有效性。
• 当在堆叠的双向LSTM中使用窗口大小为1时，模型在开发集上达到1-best准确率93.9%，凸显了上下文窗口自适应的重要性。