[論文レビュー] Improved English to Russian Translation by Neural Suffix Prediction

Kai Song, Yue Zhang+2 more|arXiv (Cornell University)|Jan 11, 2018

Natural Language Processing Techniques参考文献 21被引用数 3

ひとこと要約

この論文では、デコード段階で接頭語と接尾語の生成を分離することで、語彙が豊富な言語における未知語（OOV）問題を顕著に軽減するニューラル接尾語予測手法を提案する。形態素を明示的にモデル化するための別個の接頭語と接尾語予測により、RNNおよびTransformerアーキテクチャの両方で、ニュースおよび電子商取引ドメインにおいて、ベースライン比で最大1.98 BLEUの向上を達成している。

ABSTRACT

Neural machine translation (NMT) suffers a performance deficiency when a limited vocabulary fails to cover the source or target side adequately, which happens frequently when dealing with morphologically rich languages. To address this problem, previous work focused on adjusting translation granularity or expanding the vocabulary size. However, morphological information is relatively under-considered in NMT architectures, which may further improve translation quality. We propose a novel method, which can not only reduce data sparsity but also model morphology through a simple but effective mechanism. By predicting the stem and suffix separately during decoding, our system achieves an improvement of up to 1.98 BLEU compared with previous work on English to Russian translation. Our method is orthogonal to different NMT architectures and stably gains improvements on various domains.

研究の動機と目的

• 形態素が豊富な言語（ロシア語など）におけるニューラル機械翻訳（NMT）における未知語（OOV）の問題に対処すること。
• 語彙のターゲット側のデータスパarsityを軽減するため、接頭語と接尾語を別々にモデリングすることで、語彙タイプの数が語のタイプの数よりも著しく少ないという事実を活用すること。
• サブワード単位や文字単位を黙認的な単位として扱う代わりに、特に接尾語を明示的に形態構造としてモデリングすることで、翻訳品質を向上させること。
• 既存のNMTアーキテクチャとは直交する方法を構築し、異なるドメインおよびモデルタイプにおいて一貫した性能向上を達成すること。
• 5000万文の電子商取引データセットも含む大規模コーパス上で有効性を検証し、スケーラビリティとロバストネスを裏付けること。

提案手法

• ターゲット側の語生成を2段階に分解：まず接頭語を予測し、その後、事前に生成された接頭語をコンテキストとして用いて接尾語を予測する。
• 元のターゲット文から2つのトレーニングシーケンスを構築：接頭語シーケンスと接尾語シーケンス。'N'は接尾語なしを示す。
• 接頭語シーケンスにByte Pair Encoding（BPE）を適用し、サブ接頭語語彙を構築することで、スパarsityを軽減しながら形態素単位を保持する。
• デコーダーがまず接頭語を生成し、その後その接頭語コンテキストを用いて接尾語を予測するようなseq2seqモデルを訓練することで、接尾語の正確性を向上させる。
• RNNベースおよびTransformerベースのNMTアーキテクチャの両方の内部に、アーキテクチャの大幅な見直しを加えずに2段階デコードを統合する。
• 5000万文の大型電子商取引データセットを処理するため、ワーカーノード間でのパラメータ平均化を用いた分散学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 ロシア語のような形態素が豊富な言語において、接頭語と接尾語の明示的モデリングが翻訳品質の向上に寄与するか？
• RQ2 サブワードや文字レベルのベースラインと比較して、接頭語と接尾語の予測を分離することで、データスパarsityとOOV率が低下するか？
• RQ3 提案手法が、さまざまなNMTアーキテクチャおよびドメインにおいて、どれほどBLEUスコアを向上させるか？
• RQ4 この手法は、電子商取引コーパスのような大規模で現実世界のデータセットでも、性能向上を維持できるか？
• RQ5 サブワードおよび文字ベースのベースラインと比較して、モデルの接尾語予測精度は文法的形態（活用・格・時態など）を処理する上でどの程度優れているか？

主な発見

• RNNベースのNMTを用いたニュースドメインでは、サブワード法ベースライン比で平均1.75 BLEU向上、完全な文字ベース法比で0.97 BLEU向上を達成した。
• Transformerアーキテクチャにおいては、ニュースドメインでサブワードベースライン比で1.47 BLEU向上を達成した。
• 大規模な電子商取引ドメイン（5000万文）では、サブワードベースライン比で0.68 BLEU向上を達成した。
• システムはターゲット側語彙カバレッジを100%に達成し、OOV問題を完全に解消したが、同時にベースラインと同等のソース側カバレッジを維持した。
• 接頭語予測精度はベースラインを著しく上回り、接尾語予測誤差も顕著に低減された。正しい時態・格・態に着目した定性的な例でその有効性が示された。
• ケーススタディを通じて、サブワードおよび文字ベースのベースラインに残る形態素エラー（誤った反射代名詞や複数形など）を、この手法が効果的に是正していることが示された。