[論文レビュー] Improving the Performance of Neural Machine Translation Involving Morphologically Rich Languages

Hans Krupakar, R. S. Milton|arXiv (Cornell University)|Dec 7, 2016

Topic Modeling参考文献 30被引用数 12

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）の前段階で、タミル語のような屈曲語彎曲語のような形態素豊富な言語の形態素分割を提案することで、性能向上を図っている。単語をベクトル化する前に形態素に分割することで、語彙サイズを8倍に削減し、ベースラインのRNNSearchと比較してBLEUスコアを7.05ポイント向上させるとともに、注目機構の有効性と人間によるスコアリングによる流暢さと適切さも向上させた。

ABSTRACT

The advent of the attention mechanism in neural machine translation models has improved the performance of machine translation systems by enabling selective lookup into the source sentence. In this paper, the efficiencies of translation using bidirectional encoder attention decoder models were studied with respect to translation involving morphologically rich languages. The English - Tamil language pair was selected for this analysis. First, the use of Word2Vec embedding for both the English and Tamil words improved the translation results by 0.73 BLEU points over the baseline RNNSearch model with 4.84 BLEU score. The use of morphological segmentation before word vectorization to split the morphologically rich Tamil words into their respective morphemes before the translation, caused a reduction in the target vocabulary size by a factor of 8. Also, this model (RNNMorph) improved the performance of neural machine translation by 7.05 BLEU points over the RNNSearch model used over the same corpus. Since the BLEU evaluation of the RNNMorph model might be unreliable due to an increase in the number of matching tokens per sentence, the performances of the translations were also compared by means of human evaluation metrics of adequacy, fluency and relative ranking. Further, the use of morphological segmentation also improved the efficacy of the attention mechanism.

研究の動機と目的

• 形態素豊富な言語（例：タミル語）を含むニューラル機械翻訳（NMT）における低性能の課題に対処すること。
• 翻訳の前段階で複雑な語を形態素に分割することで語彙サイズを削減し、一般化性能を向上させること。
• BLEU以外の指標を用いて翻訳品質を評価するため、流暢さ、適切さ、相対順位付けに関する人間評価を実施すること。
• 形態素分割が系列対系列モデルにおける注目機構の有効性を高めることを調査すること。
• ソース側の分割と将来のターゲット側の付加的結合を含むフレームワークを提案することで、形態素豊富な言語におけるエンドツーエンドNMTを可能にすること。

提案手法

• 英語–タミル語翻訳のための、双方向LSTMエンコーダーデコーダーモデルに注目機構を組み合わせた手法を採用する。
• 英語およびタミル語の単語のベクトル表現を向上させるために、Word2Vec埋め込みを用いる。
• 語のベクトル化の前段階で、タミル語語をその構成形態素に分割する形態素分割を実施する。
• 語彙表現の文脈を豊かにするために、UTF-8エンコードで記述された別個の単語語彙（567,772文）を用意する。
• ニュース、聖書、字幕、観光、文学資料などから成る統合マルチリンガル語彙（197,792文）を用いてモデルを学習する。
• BLEU、人間評価（流暢さ、適切さ、順位付け）、注目機構の挙動分析を用いて結果を評価する。

実験結果

リサーチクエスチョン

• RQ1 タミル語のような形態素豊富な言語に対して、形態素分割を施すことで、BLEUスコアおよび人間評価指標におけるNMT性能が向上するか？
• RQ2 形態素分割は、リソースが限られた環境下での語彙サイズとモデル一般化性能にどのように影響するか？
• RQ3 形態素分割は、系列対系列モデルにおける注目機構の有効性をどの程度向上させるか？
• RQ4 流暢さや適切さといった人間評価指標は、形態素が複雑な言語の翻訳において、BLEUよりも信頼性の高い性能評価を提供できるか？
• RQ5 語彙の多様性とドメインの特異性は、形態素豊富な言語のNMTモデルの頑健性にどのような影響を及ぼすか？

主な発見

• 形態素分割により、ターゲット語彙サイズが8倍に削減され、モデルの効率性と一般化性能が顕著に向上した。
• RNNMorphモデル（分割あり）は、ベースラインのRNNSearchモデル（4.84 BLEU）と比較して、7.05ポイントのBLEUスコア向上を達成した。
• 人間評価により、RNNMorphモデルが流暢さ、適切さ、相対順位付けの点でベースラインを上回っていることが確認され、翻訳品質が優れていることが示された。
• 分割処理を施したことで注目機構がより効果的になったことが、ソース文表現への選択的アクセスの向上によって裏付けられた。
• 大規模な単語語彙（タミル語）を用いることで、語のベクトル表現が豊かになり、ターゲット側の言語モデルの質が向上した。
• 分割により平均文長が延びたにもかかわらず、注目機構は長文を効果的に処理し、翻訳品質を維持した。