[论文解读] Saliency-driven Word Alignment Interpretation for Neural Machine Translation

Shuoyang Ding, Hainan Xu+1 more|arXiv (Cornell University)|Jun 25, 2019

Natural Language Processing Techniques参考文献 41被引用 9

一句话总结

本文提出一种模型无关、无需参数的解释方法，结合显著性（saliency）与SmoothGrad，用于解释神经机器翻译（NMT）模型中的词对齐。实验表明，仅依赖注意力权重的对齐方法表现不佳。该方法在对齐误差率（AER）上比基于注意力的基线方法降低10–20个百分点，且在性能上优于fast-align高达8.7个百分点，揭示出FConv与Transformer等NMT模型在无需架构或训练修改的情况下，已隐式学习到可解释的对齐模式。

ABSTRACT

Despite their original goal to jointly learn to align and translate, Neural Machine Translation (NMT) models, especially Transformer, are often perceived as not learning interpretable word alignments. In this paper, we show that NMT models do learn interpretable word alignments, which could only be revealed with proper interpretation methods. We propose a series of such methods that are model-agnostic, are able to be applied either offline or online, and do not require parameter update or architectural change. We show that under the force decoding setup, the alignments induced by our interpretation method are of better quality than fast-align for some systems, and when performing free decoding, they agree well with the alignments induced by automatic alignment tools.

研究动机与目标

• 为解决NMT模型（尤其是常被视为黑箱的Transformer）中缺乏可解释的词对齐解释问题，尽管其具备注意力机制。
• 开发一种无需修改模型架构或重新训练即可提取高质量词对齐的方法。
• 评估NMT模型是否隐式学习到可解释的词对齐，以挑战‘仅凭注意力权重即可获得可靠对齐解释’的假设。
• 提供一种可扩展、支持在线推理的解释方法，适用于资源受限的解码与计算机辅助翻译场景。

提出的方法

• 该方法采用基于梯度的显著性，具体为SmoothGrad，计算编码器与解码器隐藏状态之间的词级重要性得分。
• 通过向输入添加高斯噪声，并在多次前向传播中对梯度取平均，以降低噪声影响并提升稳定性。
• 最终对齐通过为每个目标词选择显著性得分最高的源词生成，形成硬性对齐映射。
• 该方法既适用于离线（完整翻译完成后）也适用于在线（解码过程中）应用，支持实时系统部署。
• 该方法具有模型无关性，无需对NMT模型进行任何参数更新或架构修改。
• 评估在强制解码（固定生成顺序）与自由解码（动态生成）两种设置下进行，将对齐质量与注意力机制及fast-align进行对比。

实验结果

研究问题

• RQ1 基于显著性的解释方法是否能在NMT模型中生成优于注意力权重的词对齐？
• RQ2 像FConv与Transformer这样的NMT模型是否在未进行显式对齐训练的情况下，隐式学习到可解释的词对齐？
• RQ3 一种模型无关、无需参数的解释方法是否能在对齐质量上超越外部工具（如fast-align）？
• RQ4 在强制解码与自由解码设置下，基于显著性的对齐质量有何差异？
• RQ5 SmoothGrad中的噪声方差与平滑程度在多大程度上影响对齐的分散性与可解释性？

主要发现

• 与基于注意力的对齐解释相比，基于显著性的方法在多种NMT模型上将对齐误差率（AER）降低了10–20个百分点。
• 该方法在自由解码设置下，对fast-align的AER性能提升最高达8.7个百分点。
• 即使不进行架构或训练修改，FConv与Transformer模型仍隐式学习到与fast-align质量相当的对齐结果。
• 通过熵衡量的对齐分散性显示，显著性方法的对齐比注意力方法更集中、更稳定。
• 强制解码设置引入的噪声略高于自由解码，但对对齐质量的影响微乎其微。
• 随着SmoothGrad中噪声方差（σ）的增加，对齐分散性上升，证实该方法对平滑参数敏感。