[论文解读] Morphological Inflection Generation with Hard Monotonic Attention

Roee Aharoni, Yoav Goldberg|arXiv (Cornell University)|Nov 4, 2016

Natural Language Processing Techniques参考文献 24被引用 6

一句话总结

本文提出了一种用于词形屈折生成的神经序列到序列模型，采用硬单调注意力机制显式建模输入与输出字符序列之间的近似单调对齐。该模型在多个数据集上实现了最先进性能，尤其在小规模训练集上表现优异，优于以往的神经与非神经方法（包括潜在变量WFST模型），同时实现了线性时间解码和保持分辨率的推理。

ABSTRACT

We present a neural model for morphological inflection generation which employs a hard attention mechanism, inspired by the nearly-monotonic alignment commonly found between the characters in a word and the characters in its inflection. We evaluate the model on three previously studied morphological inflection generation datasets and show that it provides state of the art results in various setups compared to previous neural and non-neural approaches. Finally we present an analysis of the continuous representations learned by both the hard and soft attention \cite{bahdanauCB14} models for the task, shedding some light on the features such models extract.

研究动机与目标

• 解决在训练数据有限的情况下，词形丰富的语言中的词形屈折生成挑战。
• 通过显式建模输入与输出字符之间的单调对齐，改进神经序列到序列模型，灵感来源于合成词形语言学中的模式。
• 开发一种更简单、更高效的训练方法，无需像软注意力模型那样联合学习对齐与转换过程。
• 在数据稀疏的低资源设置下，超越现有的神经与非神经模型，尤其在标准神经模型受数据稀疏性限制的场景中表现更优。
• 分析并比较硬注意力与软注意力机制在词形屈折任务中所学习表示的异同。

提出的方法

• 模型使用双向RNN编码器，为每个输入字符生成上下文感知表示，捕捉长距离依赖关系。
• 硬单调注意力机制通过每一步选择一个输入状态来控制解码器，要么关注该状态以生成符号，要么将指针向前推进至下一个状态。
• 解码器是一个带有反馈连接的循环网络，将前一预测结果传递至下一步，实现基于先前输出的自回归生成。
• 模型通过在黄金转换与独立学习的字符级对齐所导出的控制序列上使用交叉熵损失进行训练，避免端到端的对齐学习。
• 该架构通过避免将输入序列压缩为固定大小的上下文向量，保持了输入分辨率，从而实现线性时间解码。
• 注意力机制确保每一步仅聚焦于单个输入位置，且不加权，相比软注意力机制显著降低了计算复杂度。

实验结果

研究问题

• RQ1 硬单调注意力机制是否能提升词形屈折生成性能，尤其在小数据集上？
• RQ2 在低资源设置下，硬注意力模型的性能与软注意力模型及非神经模型（如潜在变量WFST）相比如何？
• RQ3 硬注意力与软注意力模型在词形屈折任务中所学习的表示，在结构与功能上有多大程度上具有相似性？
• RQ4 通过控制机制显式建模单调对齐，是否能带来比端到端联合学习更优的对齐学习与泛化能力？
• RQ5 基于预训练对齐的更简单训练流程，是否能超越更复杂的联合训练注意力模型？

主要发现

• 所提出的硬单调注意力模型在CELEX、Wiktionary与SIGMORPHON2016数据集上均达到最先进性能，优于以往的神经与非神经方法。
• 即使仅使用极小部分的训练数据，该模型在CELEX数据集上也显著优于Dreyer等人（2008）提出的潜在变量WFST模型，这是首次有神经模型在低资源设置下超越该非神经基线。
• 该模型实现了线性时间解码与保持分辨率的推理，避免了将输入序列压缩为固定大小向量，与标准序列到序列模型形成对比。
• 尽管结构简单，该硬注意力模型所学习的对齐与表征在功能上与更复杂的软注意力模型相似，如隐藏表征分析所示。
• 分析显示，两种模型在所学习表征中均编码了符号类型与位置上下文等特征，表明其捕捉到了具有语言学意义的模式。
• 该模型在小规模训练集上表现出强大的泛化能力，表明显式建模对齐可提升词形屈折任务中的数据效率。