[论文解读] Chinese-Japanese Unsupervised Neural Machine Translation Using Sub-character Level Information

Longtu Zhang, Mamoru Komachi|arXiv (Cornell University)|Mar 1, 2019

Natural Language Processing Techniques参考文献 10被引用 11

一句话总结

本文提出了一种用于中日翻译的无监督神经机器翻译（UNMT）框架，利用从字符级数据中提取的子字符级别信息——具体为笔画和意符。通过将字符分解为更细粒度的单元，该模型在BLEU得分上实现了提升，其中笔画级表示优于字符级和意符级基线模型，证明了在表意文字语言对中使用子字符监督的有效性。

ABSTRACT

Unsupervised neural machine translation (UNMT) requires only monolingual data of similar language pairs during training and can produce bi-directional translation models with relatively good performance on alphabetic languages (Lample et al., 2018). However, no research has been done to logographic language pairs. This study focuses on Chinese-Japanese UNMT trained by data containing sub-character (ideograph or stroke) level information which is decomposed from character level data. BLEU scores of both character and sub-character level systems were compared against each other and the results showed that despite the effectiveness of UNMT on character level data, sub-character level data could further enhance the performance, in which the stroke level system outperformed the ideograph level system.

研究动机与目标

• 探索表意文字语言对（特别是中文和日文）无监督神经机器翻译（UNMT）的可行性。
• 研究子字符级别信息（如笔画和意符）是否能超越字符级训练，提升UNMT性能。
• 比较不同子字符粒度（意符与笔画）在提升翻译质量方面的有效性。
• 评估子字符分解对低资源、非字母文字语言对中无监督翻译性能的影响。

提出的方法

• 该方法通过语言学和结构分析，将中日字符分解为子字符单元，包括单个笔画和构成性意符。
• 使用中文和日文的单语单语平行数据，训练一个共享的多语言序列到序列模型，无需平行句子对。
• 模型采用自编码和回译训练机制，利用去噪自编码器和循环一致性来对齐两种语言。
• 子字符表示通过端到端的神经网络架构学习，处理笔画或意符级别的序列。
• 系统通过重建损失和循环一致性损失的组合进行训练，以对齐源语言和目标语言空间。
• 在标准测试集上计算BLEU得分，以评估不同子字符粒度下的翻译质量。

实验结果

研究问题

• RQ1 子字符级别信息能否提升表意文字语言对（如中文和日文）中无监督神经机器翻译的性能？
• RQ2 子字符单元的粒度（特别是笔画与意符）如何影响UNMT中的翻译质量？
• RQ3 将字符分解为更细粒度的单元，是否能相比字符级建模带来更好的对齐与泛化能力？
• RQ4 子字符表示带来的性能提升是否在两个翻译方向（中文到日文与日文到中文）中均保持一致？

主要发现

• 笔画级子字符系统在所有配置中取得了最高的BLEU得分，优于字符级和意符级模型。
• 意符级系统相较于字符级基线表现出性能提升，表明子字符分解有助于表示学习。
• 笔画级模型在翻译质量上表现出显著改进，表明更细粒度的语言单元能捕捉表意文字中更具区分性的特征。
• 结果证实，子字符信息对非字母文字中的无监督NMT有益，仅依赖字符级建模在这些语言对中是不够的。