[论文解读] Bayesian Optimisation for Machine Translation

Yishu Miao, Ziyu Wang+1 more|arXiv (Cornell University)|Dec 22, 2014

Natural Language Processing Techniques参考文献 13被引用 3

一句话总结

本文提出用于统计机器翻译中最小误差率训练的贝叶斯优化（BO）算法，利用N-best列表和超图表示法高效探索翻译空间。所提出的HG-BO与CHG-BO方法在收敛速度和BLEU得分上均优于MERT与MIRA，且REMBO实现对高维稀疏特征的可扩展调优。

ABSTRACT

This paper presents novel Bayesian optimisation algorithms for minimum error rate training of statistical machine translation systems. We explore two classes of algorithms for efficiently exploring the translation space, with the first based on N-best lists and the second based on a hypergraph representation that compactly represents an exponential number of translation options. Our algorithms exhibit faster convergence and are capable of obtaining lower error rates than the existing translation model specific approaches, all within a generic Bayesian optimisation framework. Further more, we also introduce a random embedding algorithm to scale our approach to sparse high dimensional feature sets.

研究动机与目标

• 开发通用、高效的贝叶斯优化算法，用于调优统计机器翻译系统中的线性模型权重。
• 通过将损失函数视为黑箱，避免昂贵的误差曲面构建，从而克服MERT与MIRA的局限性。
• 利用随机嵌入实现对SMT中高维稀疏特征集的可扩展超参数调优。
• 通过在固定N-best列表或超图上应用高斯过程，提升训练效率与翻译质量。
• 展示贝叶斯优化在机器翻译之外的自然语言处理任务中的广泛潜力。

提出的方法

• 在固定N-best列表或超图上，应用贝叶斯优化调优SMT系统中的线性组合权重，损失函数（如BLEU）作为黑箱函数进行评估。
• 使用高斯过程对权重空间上的目标函数进行建模，以期望改进（EI）作为获取函数，选择下一次评估点。
• 通过采样参数迭代重加权超图，利用Viterbi算法解码新翻译，并基于观测到的BLEU分数更新高斯过程。
• 在当前权重周围引入有界搜索空间，以约束探索范围，提升优化过程的稳定性。
• 采用REMBO算法结合随机嵌入，将高维稀疏特征空间投影至低维空间，实现可扩展的贝叶斯优化。
• 在HG-REMBO中采用两步坐标上升过程：首先优化默认特征，然后利用正则化随机投影矩阵更新稀疏特征。

实验结果

研究问题

• RQ1 贝叶斯优化在SMT系统中是否能在收敛速度与翻译质量上优于MERT与MIRA？
• RQ2 与N-best列表相比，使用超图是否能提升基于贝叶斯优化的调优稳定性与性能？
• RQ3 随机嵌入能否有效实现对机器翻译中高维稀疏特征空间的贝叶斯优化扩展？
• RQ4 有界搜索区域的大小对优化性能与最终模型泛化能力有何影响？
• RQ5 所提出的贝叶斯优化框架是否可推广至统计机器翻译之外的其他自然语言处理任务？

主要发现

• HG-BO在fr-en数据集上达到29.9的测试BLEU分数，优于MERT（26.8）与MIRA（26.8），且收敛速度更快，仅需1.5小时，而MERT需4小时。
• CHG-BO表现出更优的稳定性，在5次迭代内即达平台期，未出现NBL-BO与HG-BO在初始权重较差时的波动现象。
• 当搜索边界大小为b=0.1时，性能与b=0.01相当；而b=0.5因搜索空间中噪声过大，导致测试性能下降。
• HG-REMBO在es-en上达到30.6的测试BLEU分数，在fr-en上达到28.0，几乎与MIRA的30.6与28.3相当，尽管需多次运行以生成稳定的变换矩阵。
• 贝叶斯优化算法仅需5次迭代即可达到最优性能，最大收敛通常在7次迭代内完成，表明10次迭代为安全的上限。
• 随机嵌入的使用使得在fr-en数据集的207,952个稀疏特征上实现了有效调优，证明了对先前难以处理的高维特征空间的可扩展性。