[论文解读] Exact Hard Monotonic Attention for Character-Level Transduction

Shijie Wu, Ryan Cotterell|arXiv (Cornell University)|May 15, 2019

Natural Language Processing Techniques参考文献 22被引用 4

一句话总结

本文提出了一种用于字符级序列到序列转换的精确硬性单调注意力机制，利用动态规划联合学习单调对齐与转换。通过在联合训练中强制执行严格的单调性，该方法在词形屈折任务上取得了最先进性能，在音素图素转换和音译任务上也取得了优异结果，优于非单调和流水线基线模型。

ABSTRACT

Many common character-level, string-to string transduction tasks, e.g., grapheme-tophoneme conversion and morphological inflection, consist almost exclusively of monotonic transductions. However, neural sequence-to sequence models that use non-monotonic soft attention often outperform popular monotonic models. In this work, we ask the following question: Is monotonicity really a helpful inductive bias for these tasks? We develop a hard attention sequence-to-sequence model that enforces strict monotonicity and learns a latent alignment jointly while learning to transduce. With the help of dynamic programming, we are able to compute the exact marginalization over all monotonic alignments. Our models achieve state-of-the-art performance on morphological inflection. Furthermore, we find strong performance on two other character-level transduction tasks. Code is available at https://github.com/shijie-wu/neural-transducer.

研究动机与目标

• 探究在字符级转换任务（如词形屈折和音素图素转换）中，单调性是否是一种有益的归纳偏置。
• 通过将对齐与转换模型联合训练，而非采用流水线方法，解决先前单调模型性能不佳的问题。
• 开发一种单调对齐的精确推理算法，利用动态规划实现端到端训练。
• 评估在非单调或松散约束模型中，强制执行严格单调性是否能提升性能。
• 确定在单调约束下，增加模型容量（一阶）是否能提升性能，相比更简单的零阶模型。

提出的方法

• 将 Wu 等人（2018）的零阶硬注意力模型扩展为通过基于动态规划的精确边际化计算所有有效单调对齐，以强制实现对齐的严格单调性。
• 引入一种一阶硬注意力变体，将对齐转移建模为马尔可夫过程，从而在保持单调性的同时提升对齐学习的表达能力。
• 利用动态规划在 O(|x|·|y|·|Σ_y|) 时间内计算在单调对齐约束下目标序列的精确对数似然。
• 采用贪婪解码策略进行推理，并使用联合训练目标同时优化对齐与转换过程。
• 通过重新排序求和项，实现对单调对齐的可 tractable 计算，避免指数级复杂度。
• 将该模型应用于三个字符级转换任务：词形屈折、音素图素转换和命名实体音译。

实验结果

研究问题

• RQ1 在字符级转换任务中，强制执行硬注意力的严格单调性是否能提升性能？
• RQ2 先前单调模型性能不佳是否源于对齐与转换之间缺乏联合训练？
• RQ3 在单调对齐上进行精确动态规划推理，是否能比非单调或流水线系统带来更好的泛化性能？
• RQ4 在单调约束下，增加模型容量（一阶 vs 零阶）是否能提升性能？
• RQ5 当对齐是联合学习而非预计算时，单调性是否是一种有用的归纳偏置？

主要发现

• 一阶单调硬注意力模型在 CoNLL-SIGMORPHON 2017 词形屈折共享任务中取得了单模型最先进性能，准确率达到 94.8%，超越了先前最佳单模型。
• 零阶单调模型（0-mono）在所有三个任务上均优于非单调零阶硬注意力和软注意力模型，表明在联合学习对齐时，严格单调性具有优势。
• 一阶单调模型（1-mono）在音素图素转换任务（41.2% ACC）和命名实体音译任务（0.113 MLD）中表现最佳，表明在某些任务中提升表达能力有助于性能提升。
• 0-mono 和 1-mono 模型在词形屈折任务上并列达到 94.8% 的准确率，表明一阶模型的额外参数并不总能提升性能，但单调性约束是关键因素。
• 0-mono 模型在所有任务上均优于 0-hard 模型，证明联合学习单调对齐比非单调或流水线方法更有效。
• 结果表明，先前单调模型性能不佳的原因很可能是缺乏联合训练，而非单调性本身。