[論文レビュー] Neural Name Translation Improves Neural Machine Translation

Xiaoqing Li, Jiajun Zhang+1 more|arXiv (Cornell University)|Jul 7, 2016

Natural Language Processing Techniques参考文献 16被引用数 6

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）システムの性能向上を目的として、固有表現（NE）翻訳のための文字レベルのシーケンス・ツー・シーケンスニューラルネットワークを提案する。外部のNEリストを用いてNE翻訳モデルを学習し、それを利用して双方向並列語彙における高品質なNE対応を導出することで、学習データの品質を向上させ、NMT性能を向上させる。中国語→英語翻訳において、ベースラインと比較して2.9 BLEUポイントの向上を達成した。

ABSTRACT

In order to control computational complexity, neural machine translation (NMT) systems convert all rare words outside the vocabulary into a single unk symbol. Previous solution (Luong et al., 2015) resorts to use multiple numbered unks to learn the correspondence between source and target rare words. However, testing words unseen in the training corpus cannot be handled by this method. And it also suffers from the noisy word alignment. In this paper, we focus on a major type of rare words -- named entity (NE), and propose to translate them with character level sequence to sequence model. The NE translation model is further used to derive high quality NE alignment in the bilingual training corpus. With the integration of NE translation and alignment modules, our NMT system is able to surpass the baseline system by 2.9 BLEU points on the Chinese to English task.

研究の動機と目的

• NMTシステムが希少語、特に固有表現（NE）を処理する際の限界を解決する。NEは通常、1つの「unk」トークンに置き換えられる。
• 過去の手法が希少語翻訳に不正確な単語対応や辞書照会に依存するという欠点を克服する。
• ニューラルNE翻訳モデルを用いて高精度なNE対応を生成することで、NMT学習のためのデータ品質を向上させる。
• NE翻訳と対応付けをNMTパイプラインに統合し、全体の翻訳性能を向上させる。
• 文字レベルのモデリングと外部NEリソースを活用することで、未学習の希少語の効果的翻訳を可能にする。

提案手法

• 外部のNEリストを用いて、アテンションを備えた文字レベルのシーケンス・ツー・シーケンスモデルを学習し、ソース言語のNEをターゲット言語に翻訳する。
• 学習済みのNE翻訳モデルと固有表現認識器（NER）を用いて、双方向並列コーパス内のNEペアを特定・対応付ける。
• 学習データ内の対応済みNEをタイプ記号（例：LOC1、LOC2）に置き換えることで、NMTモデル用の洗練された学習セットを構築する。
• アテンションベースのエンコーダ・デコーダアーキテクチャを用いて、記号置換済みの並列文を学習する標準的なNMTモデルを訓練する。
• 推論段階では、入力文内のNEを認識し、それらをタイプ記号に置き換え、NMTモデルで翻訳した後、NE翻訳モデルを用いて予測されたNE翻訳に置き換える。
• 既知のNE用の語彙テーブルを適用し、未知のNEについてはニューラルNEモデルにフォールバックすることで、精度を向上させる後処理ステップを実施する。

実験結果

リサーチクエスチョン

• RQ1 文字レベルのニューラルシーケンス・ツー・シーケンスモデルは、低リソース環境や希少語シナリオにおける固有表現翻訳をどのように改善できるか？
• RQ2 ニューラルNE翻訳モデルから導出される高品質なNE対応が、NMT学習データ品質に与える影響は何か？
• RQ3 NE翻訳と対応付けモジュールを統合することで、低リソース言語対におけるNMT性能に測定可能な向上が見られるか？
• RQ4 本手法は、Luongら（2015）の手法と比較して、希少語や未観測エンティティをどのように処理するか？
• RQ5 外部NEリストとニューラル対応付けの使用は、学習済み例を超えたロバストネスと一般化性能を向上させるか？

主な発見

• 提案手法は、ベースラインシステムと比較して中国語→英語NMT性能を2.9 BLEUポイント向上させた。
• NE置換とLuongらの手法を組み合わせることで、さらに0.75 BLEUポイントの向上が得られ、結果としてベースラインと比較して2.9 BLEUポイントの改善が達成された。
• NE翻訳モデルは、人物、場所、その他のNEタイプについて、それぞれ0.71、0.28、0.35の単語レベルの正確性を達成しており、語彙テーブル統合による改善が見られた。
• NE対応性能は、人物で97%、場所で93%、その他のタイプで96%に達しており、対応パイプラインの高信頼性を示している。
• 同じ中国語-英語タスクにおいて、Luongらの手法よりも1.6 BLEUポイント優れており、希少語の処理能力に優れていることが示された。
• 高い対応精度は、自動単語対応からのノイズを低減していることを示しており、中国語-英語のような低リソース言語対において特に有益である。