[论文解读] Can Transformer be Too Compositional? Analysing Idiom Processing in Neural Machine Translation

Verna Dankers, Christopher G. Lucas+1 more|arXiv (Cornell University)|May 30, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文研究了为何基于Transformer的神经机器翻译（NMT）模型尽管具有非组合性语义，却频繁对习语进行过度字面化的翻译。通过分析七种欧洲语言中编码器和解码器头的注意力模式与隐藏表征，作者发现习语作为统一的词汇单位被处理，上下文交互减少，但模型仍倾向于生成组合性输出。其主要贡献在于识别出模型的组合性归纳偏置会损害非组合性处理，表明需要对架构进行修改以改善习语翻译。

ABSTRACT

Unlike literal expressions, idioms' meanings do not directly follow from their parts, posing a challenge for neural machine translation (NMT). NMT models are often unable to translate idioms accurately and over-generate compositional, literal translations. In this work, we investigate whether the non-compositionality of idioms is reflected in the mechanics of the dominant NMT model, Transformer, by analysing the hidden states and attention patterns for models with English as source language and one of seven European languages as target language. When Transformer emits a non-literal translation - i.e. identifies the expression as idiomatic - the encoder processes idioms more strongly as single lexical units compared to literal expressions. This manifests in idioms' parts being grouped through attention and in reduced interaction between idioms and their context. In the decoder's cross-attention, figurative inputs result in reduced attention on source-side tokens. These results suggest that Transformer's tendency to process idioms as compositional expressions contributes to literal translations of idioms.

研究动机与目标

• 研究为何基于Transformer的NMT模型尽管习语具有非组合性含义，却频繁产生字面化翻译。
• 分析Transformer编码器和解码器中习语在隐藏状态与注意力机制中的表征方式。
• 确定模型的组合性归纳偏置是否在多种欧洲语言中损害了准确的习语翻译。
• 评估对隐藏表征进行干预是否能因果性地改变模型倾向于组合性翻译的倾向。
• 为提升NMT中习语非组合性处理能力提供架构改进的见解。

提出的方法

• 作者使用单语英语语料库，并基于模型翻译的改写行为，启发式地将翻译标注为习语性或字面性。
• 应用可解释性技术，比较编码器中的自注意力与解码器中的交叉注意力在习语性表达（PIE）与字面性表达之间的差异。
• 使用INLP（可解释非线性探测）探测习语标记的隐藏表征，以评估习语性是否在线性编码于模型表征中。
• 在多个编码器层的隐藏状态中进行干预，以测试表征变化对翻译输出的因果影响。
• 通过人工评估验证启发式标注方法，确保改写翻译确实具有习语性。
• 在七种欧洲目标语言中分析结果，以评估发现的跨语言一致性。

实验结果

研究问题

• RQ1 Transformer编码器中，习语性与字面性习语表达的注意力模式有何不同？
• RQ2 解码器在翻译习语性与字面性习语时，对编码器输出的依赖程度如何？
• RQ3 习语的习语性含义是否线性编码于模型的隐藏表征中？能否通过干预进行操控？
• RQ4 模型的组合性归纳偏置在多大程度上影响其生成习语非组合性翻译的能力？
• RQ5 通过改变隐藏表征的架构干预是否能减少模型对习语字面翻译的倾向？

主要发现

• 在编码器中，习语被处理为单一词汇单位，内部注意力增强，与周围上下文的交互减少。
• 在翻译习语性习语时，解码器对编码器输出的交叉注意力减少，表明其在意义推导上具有更高的独立性。
• 使用INLP对隐藏状态进行干预后，成功减少了改写行为并增加了组合性翻译，成功率在27%（瑞典语）至40%（西班牙语）之间。
• 模型倾向于字面翻译的倾向具有鲁棒性，即使在干预后仍有超过70%的习语翻译保持逐字对应，表明非组合性处理能力较弱。
• 较高层的隐藏表征中，习语性更易被检测到，表明非组合性处理在网络中后期才出现。
• 结果表明，偏好组合性的训练技术可能损害习语翻译，未来NMT设计应对此类方法保持谨慎。