[论文解读] Identifying and Controlling Important Neurons in Neural Machine Translation
本文提出无监督方法，在多语言对的神经机器翻译模型中识别并分析重要的神经元，显示这些神经元携带可解释的语言信息，并通过神经元激活实现对翻译的部分控制。
Neural machine translation (NMT) models learn representations containing substantial linguistic information. However, it is not clear if such information is fully distributed or if some of it can be attributed to individual neurons. We develop unsupervised methods for discovering important neurons in NMT models. Our methods rely on the intuition that different models learn similar properties, and do not require any costly external supervision. We show experimentally that translation quality depends on the discovered neurons, and find that many of them capture common linguistic phenomena. Finally, we show how to control NMT translations in predictable ways, by modifying activations of individual neurons.
研究动机与目标
- 确定 NMT 模型中的单个神经元是否携带重要且可解释的语言信息。
- 开发无监督方法，根据它们对翻译质量的贡献在没有外部监督的情况下对神经元进行排序。
- 研究激活或抹除选定神经元是否能对翻译结果产生可预测的影响。
提出的方法
- 在 UN 语料库上，用 charCNN 输入训练多对英语→(5 languages) 的 NMT 模型。
- 使用四种无监督方法：MaxCorr、MinCorr、LinReg 和 SVCCA，在模型对之间对神经元进行排序。
- 通过抹除实验和 BLEU 评估来验证神经元的重要性。
- 通过可视化和预测任务分析前几名神经元所捕捉的语言属性。
- 通过修改所选神经元的激活来控制翻译，并评估成功率和 BLEU 影响。
实验结果
研究问题
- RQ1是否存在在抹除时显著影响翻译质量的 NMT 模型中的单个神经元？
- RQ2高排序的神经元是否编码可解释的语言信息，如时态、数或性别？
- RQ3通过修改特定神经元的激活，翻译是否可以被可预测地引导？
主要发现
- 抹除排名最高的神经元会显著降低翻译质量，当移除前10%时 BLEU 降幅为 15–20 点，而移除后10%仅为 2–3 点（适用于 MaxCorr、MinCorr、LinReg）。
- 顶部 SVCCA 方向会导致快速降解（大约 5 个方向，约 15 BLEU 点，占方向的 1%），且往往与特定词汇对齐。
- MaxCorr 趋向揭示与位置相关的信息，而 LinReg 和 SVCCA 捕捉词形属性；许多前列神经元编码时态、数或括号相关的词元。
- 通过修改所选神经元的激活就能影响翻译，在将时态从过去改为现在方面获得高达 67% 的成功率，伴随适度的 BLEU 损失（约 2 点），但对性别的控制仍较困难（约 21% 成功）。
- 神经元在跨模型中往往对应具有语言学意义的现象，支持这样一种观点：NMT 中的一些信息定位于可解释单元，而非完全分布。）
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。