[論文レビュー] Context Models for OOV Word Translation in Low-Resource Languages

Angli Liu, Katrin Kirchhoff|arXiv (Cornell University)|Jan 26, 2018

Natural Language Processing Techniques参考文献 23被引用数 4

ひとこと要約

本稿では、低資源機械翻訳における未知語（OOV）語の翻訳曖昧性を解消するために、広範囲の文脈を持つ対訳言語ニューラル言語モデルを用いる手法を提案する。文書レベルの文脈を用いて翻訳ラティスを再スコアリングすることで、訓練データの拡張や最先端のNMTシステムと比較して、6つの低資源言語対のうち5つで一貫した性能向上を達成した。

ABSTRACT

Out-of-vocabulary word translation is a major problem for the translation of low-resource languages that suffer from a lack of parallel training data. This paper evaluates the contributions of target-language context models towards the translation of OOV words, specifically in those cases where OOV translations are derived from external knowledge sources, such as dictionaries. We develop both neural and non-neural context models and evaluate them within both phrase-based and self-attention based neural machine translation systems. Our results show that neural language models that integrate additional context beyond the current sentence are the most effective in disambiguating possible OOV word translations. We present an efficient second-pass lattice-rescoring method for wide-context neural language models and demonstrate performance improvements over state-of-the-art self-attention based neural MT systems in five out of six low-resource language pairs.

研究の動機と目的

• 並列訓練データが極めて限られている低資源言語におけるOOV語の翻訳の課題に対処すること。
• 辞書などの外部知識ソースから得られる複数の候補翻訳の曖昧性を解消すること。
• 特に文書レベルの文脈を含む、現在の文を超えた文脈的情報を活用して翻訳品質を向上させること。
• 広範囲の文脈を持つニューラル言語モデルをニューラルMTシステムに統合するための効率的なラティス再スコアリング手法を開発すること。
• 文脈に配慮したモデルが、低資源環境下で外部翻訳の直接的なデータ拡張よりも優れていることを示すこと。

提案手法

• 文脈的文脈（文および文書レベル）を捉えるために、対訳言語の単語文データを用いてニューラルおよび非ニューラルの文脈モデルを訓練する。
• NMT出力の2段階目のラティス再スコアリングステップに、広範囲の文脈言語モデル（以前の文を含む）を統合する。
• 複数の前の文をアテンションで扱うニューラル言語モデルを用い、曖昧性解消のための長距離依存関係をモデル化する。
• fastAlignを用いて、語彙ベースMT（PBMT）とTransformerベースのNMTシステムの出力をアラインメントし、統合ラティスを作成して再スコアリングに使用する。
• 文脈モデルを用いてラティスを再スコアリングし、曖昧な候補を文脈的に適切なものに置き換えることで、OOV語の最良翻訳を選択する。
• 本手法を外部翻訳のデータ拡張およびオラクルベースの上限値と比較する。

実験結果

リサーチクエスチョン

• RQ1 文脈が前後の文を含む文書レベルのものである場合、文レベルの文脈や文脈なしの状況と比較して、複数のOOV翻訳候補の曖昧性解消にどの程度有効であるか。
• RQ2 文書レベルの文脈を持つニューラル言語モデルは、低資源環境下でOOV翻訳パフォーマンスを顕著に向上させることができるか。
• RQ3 文脈モデルを用いたラティス再スコアリングは、単に外部翻訳を訓練データに追加するのと比較して優れているか。
• RQ4 文脈に配慮したモデルのパフォーマンスは、さまざまな低資源言語対においてどのように異なるか。
• RQ5 提案手法は、語彙ベースモデルと自己注意機構ベースのモデルを含む、多様なニューラルMTアーキテクチャにおいて一貫した改善を達成できるか。

主な発見

• 以前の文の文脈を組み込んだ文書レベルのニューラル言語モデルが、文レベルや非ニューラルモデルを含むすべての他の文脈モデルを上回る性能を示した。
• 広範囲の文脈を持つニューラルモデルを用いたラティス再スコアリング手法は、6つの低資源言語対のうち5つで、外部翻訳を用いた訓練データの拡張より一貫した向上を達成した。
• アムハラ語（amh）およびヨルーバ語（yor）の言語対では、データ拡張ベースラインと比較して、それぞれ2.46点および1.36点のBLEUスコア向上を達成した。
• ベトナム語（vie）では、データ拡張訓練よりも2.10 BLEUポイントの向上を達成し、再スコアリングで27.25 BLEUに到達した。
• PBMTとTransformer出力のシステム結合にOOV再スコアリングを適用することで、ベトナム語において58.5のユニグラム適合率にまで近づき、オラクル上限値に近い性能を達成した。
• 本手法は多様な低資源言語対に対して頑健であり、特にアムハラ語やヨルーバ語のような屈曲語や低資源言語で、最も顕著な向上が観察された。