[論文レビュー] How do lexical semantics affect translation? An empirical study

Vivek Subramanian, Dhanasekar Sundararaman|arXiv (Cornell University)|Dec 31, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿は、語彙的意味論—特に語順と語彙的類似性—がニューラル機械翻訳（NMT）性能に与える影響を調査する。OpenSubtitles2016の英語から15の低リソース言語への翻訳ペアを用いて、英語との語彙的類似性が高いほど翻訳性能が向上することを示し、品詞（POS）の監視が語順が異なる言語において、特にトランスフォーマー・モデルで顕著な性能向上をもたらすことを明らかにする。

ABSTRACT

Neural machine translation (NMT) systems aim to map text from one language into another. While there are a wide variety of applications of NMT, one of the most important is translation of natural language. A distinguishing factor of natural language is that words are typically ordered according to the rules of the grammar of a given language. Although many advances have been made in developing NMT systems for translating natural language, little research has been done on understanding how the word ordering of and lexical similarity between the source and target language affect translation performance. Here, we investigate these relationships on a variety of low-resource language pairs from the OpenSubtitles2016 database, where the source language is English, and find that the more similar the target language is to English, the greater the translation performance. In addition, we study the impact of providing NMT models with part of speech of words (POS) in the English sequence and find that, for Transformer-based models, the more dissimilar the target language is from English, the greater the benefit provided by POS.

研究の動機と目的

• 語彙的意味論、特に語順と語彙的類似性がニューラル機械翻訳（NMT）性能に与える影響を理解すること。
• NMTモデルのソース側トークンに対して、品詞（POS）タギングを明示的な言語的監視として与える影響を評価すること。
• LSTMとトランスフォーマー・アーキテクチャの、多様な言語タイプ論的特性を考慮した翻訳処理における違いを比較すること。
• ソース言語とターゲット言語の言語的類似性が、低リソース環境における翻訳品質に与える影響を評価すること。
• 品詞監視が、英語と構文的に著しく異なる構造を持つ言語において、より顕著な利点をもたらすかどうかを特定すること。

提案手法

• OpenSubtitles2016データセットの15の低リソース言語ペアを用いた実証的調査。英語をソース言語とする。
• ソース側トークンに明示的な品詞（POS）タギングを適用するか否かで、LSTMベースおよびトランスフォーマー・ベースのNMTモデルを訓練する。
• ソース言語およびターゲット言語の両方で共通のサブワード語彙を用いたバイトパリーエンコーディング（BPE）を適用する。
• SennrichとHaddow（2016）およびSundararamanら（2019）に従い、サブワードトークンの埋め込みにトレーニング可能なPOS埋め込みベクトルを付加する。
• 各言語ペアについて、保持されたテストセットを用いたBLEUスコアで翻訳品質を評価する。
• ターゲット言語を主な語順（SVO、SOV、または柔軟）で分類し、英語との正規化されたレーベンシュタイン距離を語彙的類似性の指標として計算する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット言語の文法的語順（例：SVO 対 SOV）が、NMTモデルの翻訳性能に与える影響は何か？
• RQ2 英語とターゲット言語との語彙的類似性が、低リソースNMTにおけるBLEUスコアにどの程度影響を及えるか？
• RQ3 ソース側デコーダーに品詞（POS）情報を与えることで、翻訳性能が向上するか。特に、英語のSVO構造と著しく異なる語順を持つ言語においては？
• RQ4 LSTMとトランスフォーマー・アーキテクチャは、語順や語彙的類似性といった言語的差異に対して、どのように感受性を示すか？
• RQ5 品詞監視の利点は、低リソースでタイプ論的に遠く離れた言語ペアを対象としたモデルで顕著に現れるか？

主な発見

• BLEUスコアで測定した翻訳性能は、英語とターゲット言語との語彙的類似性が高いほど向上し、正規化されたレーベンシュタイン距離が低いほど顕著に向上する。
• トランスフォーマー・ベースのモデルでは、英語のSVO構造と最も異なる語順を持つ言語—特に僧伽羅語（SOV）とバスク語（柔軟/SOV）—において、品詞監視の恩恵が最も顕著に現れる。
• LSTM用のPOSモデルは、ヒンディ語（SOV）でベースラインLSTMと同等のBLEUスコア22.26を達成しており、改善はほとんど認められない。一方、トランスフォーマー用のPOSモデルは、同じ言語で23.80から24.15に向上し、顕著な改善を示す。
• トランスフォーマー用のPOSモデルは、カタルーニャ語（SVO）で29.23のBLEUスコアを記録し、ベースラインのトランスフォーマー（27.30）と比較して1.93ポイント向上しており、語順が類似する言語では顕著な向上が見られる。
• 語彙的類似性が著しく低い言語、例えばバスク語（レーベンシュタイン距離0.407）では、トランスフォーマー用のPOSモデルがBLEUスコアを16.60から17.80に向上させ、1.2ポイントの改善を示しており、構文的ギャップを埋めるのに品詞監視が有効であることを示唆する。
• 本研究では、語順や語彙的類似性といった言語的特徴が、特に低リソース環境下でのNMT性能において重要な要因であることが確認され、品詞監視が構文的に遠く離れた言語ペアにおける性能低下を緩和できることも示された。