[論文レビュー] Neural Machine Translation of Logographic Languages Using Sub-character Level Information

Longtu Zhang, Mamoru Komachi|arXiv (Cornell University)|Sep 7, 2018

Natural Language Processing Techniques被引用数 3

ひとこと要約

この論文は、中国語や日本語のような表意言語のニューラル機械翻訳（NMT）のためのサブ文字レベルの符号化手法を提案する。文字間の共通成分を活用することで翻訳性能を向上させる。文字をサブ文字ユニットに分解することで、アライメントと一般化性能が向上し、中国語-英語および中国語-日本語翻訳タスクにおいて顕著な改善が得られた。特に文字の類似性が存在する状況で顕著である。

ABSTRACT

Recent neural machine translation (NMT) systems have been greatly improved by encoder-decoder models with attention mechanisms and sub-word units. However, important differences between languages with logographic and alphabetic writing systems have long been overlooked. This study focuses on these differences and uses a simple approach to improve the performance of NMT systems utilizing decomposed sub-character level information for logographic languages. Our results indicate that our approach not only improves the translation capabilities of NMT systems between Chinese and English, but also further improves NMT systems between Chinese and Japanese, because it utilizes the shared information brought by similar sub-character units.

研究の動機と目的

• 表意言語（中国語や日本語を含む）のNMTにおいて、サブ文字レベルの情報が十分に活用されていない問題に対処すること。
• 表意 script 間で共有されるサブ文字コンポーネントが翻訳性能に与える影響を調査すること。
• NMTアーキテクチャにサブ文字表現を統合する、シンプルでありながら効果的な手法を開発・評価すること。
• 表意言語ペairにおいて一般的な低リソース環境や高文字多様性の状況での翻訳品質を向上させること。

提案手法

• モデルはサブ文字分解を組み込んだ文字レベルのエンコーダデコーダアーキテクチャを採用し、各文字をより小さな再利用可能なコンポーネントの組み合わせとして扱う。
• サブ文字ユニットは学習可能または事前定義可能であり、文字間の形態論的および意味的類似性を捉えることができる。
• サブ文字表現を埋め込み層に統合することで、希少または未知の文字に対しても一般化性能が向上する。
• アテンション機構をサブ文字ユニットに適用することで、ソースおよびターゲットシーケンス間のアライメントが改善される。
• 外部辞書やルールベースの前処理を必要とせず、並列単語コーパス上でエンドツーエンドに学習される。
• 標準的な WMT ベンチマークを用いて、中国語-英語および中国語-日本語翻訳タスクの両方でアーキテクチャが評価される。

実験結果

リサーチクエスチョン

• RQ1 サブ文字レベルの情報は、表意言語のNMT性能を向上させることができるか？
• RQ2 サブ文字分解は、低リソース環境や高文字多様性の状況での翻訳品質にどのように影響するか？
• RQ3 中国語と日本語の間で共有されるサブ文字ユニットは、NMTにおけるクロスリンガル転送にどの程度寄与するか？
• RQ4 サブ文字モデリングは、希少語や未知語（OOV）に対してより良い一般化をもたらすか？

主な発見

• 提案されたサブ文字アプローチは、中国語-英語および中国語-日本語翻訳タスクにおける翻訳性能を顕著に向上させた。
• 特に希少語に対して、標準的な文字レベルおよび語彙レベルのベースラインと比較して、より高い BLEU スコアを達成した。
• 中国語と日本語の間で共有されるサブ文字ユニットは、クロスリンガル翻訳におけるゼロショットおよびフェイシング一般化性能の向上に寄与した。
• サブ文字構成性を活用することで、未知語（OOV）の処理においてもモデルの頑健性が確認された。