[论文解读] Classification-based RNN machine translation using GRUs

Ri Wang, Maysum Panju+1 more|arXiv (Cornell University)|Mar 22, 2017

Natural Language Processing Techniques参考文献 10被引用 9

一句话总结

本文提出一种基于分类的RNN机器翻译模型，采用门控循环单元（GRUs）来预测翻译序列中的下一个词，将翻译任务视为序列分类问题，而非自回归生成。尽管性能仅中等——在完整源句条件下预测下一个词的准确率约为21.5%，但该模型证明了使用GRUs实现可变长度输入翻译的可行性，且相比复杂的序列到序列模型，其框架更简单、更具可解释性。

ABSTRACT

We report the results of our classification-based machine translation model, built upon the framework of a recurrent neural network using gated recurrent units. Unlike other RNN models that attempt to maximize the overall conditional log probability of sentences against sentences, our model focuses a classification approach of estimating the conditional probability of the next word given the input sequence. This simpler approach using GRUs was hoped to be comparable with more complicated RNN models, but achievements in this implementation were modest and there remains a lot of room for improving this classification approach.

研究动机与目标

• 通过在RNN中应用基于分类的方法并结合GRUs，开发一种更简单、更具可解释性的机器翻译框架。
• 在神经机器翻译模型中实现可变长度输入序列，克服先前前馈模型中固定长度输入的限制。
• 评估GRUs是否能在基于分类范式而非自回归序列生成的设定下，实现与翻译任务相匹配的竞争力表现。
• 在受限设置下，研究词嵌入、词汇表大小以及训练批次设计对翻译质量的影响。

提出的方法

• 该模型采用单一GRU编码器-解码器架构，处理可变长度的源句，并预测目标序列中的下一个词。
• 词向量使用预训练的GloVe嵌入进行初始化，以提升语义表示效果并减轻训练负担。
• 训练采用随机梯度下降法，使用128对句子的小批量数据，每批数据均填充至固定长度，以支持GPU并行计算。
• 对于无法凑齐128对的批次，直接丢弃以确保训练效率与一致性。
• 模型训练目标为最大化在给定源句和已生成词条件下，下一个目标词的条件概率。
• 词汇表限制为每种语言80,002个词元（前80,000个词 + OOV和EOS词元），所有词均转换为小写，但未进行词干化或词形还原处理。

实验结果

研究问题

• RQ1 与更复杂的序列到序列模型相比，基于分类的RNN是否能通过GRUs实现具有竞争力的机器翻译性能？
• RQ2 在GRU-based分类框架中，使用预训练词嵌入（如GloVe）对翻译质量有何影响？
• RQ3 批次大小与序列长度限制对训练稳定性及模型性能有何影响？
• RQ4 当上下文为部分正确翻译时，与完整源句相比，模型在预测下一个词时的表现如何？

主要发现

• 当从完整源句预测下一个词时，模型的准确率为21.5%，表明性能中等但非微不足道。
• 当提供正确部分翻译作为上下文时，模型的下一个词预测准确率提升至40.3%，表明上下文质量显著影响输出可靠性。
• 模型在长序列上表现困难，源语或目标语超过50个词的序列被截断并从训练中排除。
• 虽然预训练GloVe嵌入预期能提升性能，但模型整体表现仍受限，表明仍需在架构或超参数方面进行改进。
• 尽管绝对准确率较低，模型常能生成连贯且语义连贯的翻译，显示出与目标输出的明显对齐。
• 模型性能对批次组成敏感，小批量或不完整批次被丢弃以维持训练稳定性和效率。