[論文レビュー] The Effectiveness of Morphology-aware Segmentation in Low-Resource Neural Machine Translation

Jonne Sälevä, Constantine Lignos|arXiv (Cornell University)|Mar 20, 2021

Natural Language Processing Techniques参考文献 29被引用数 14

ひとこと要約

本研究では、英語-ネパール語、英語-僧伽羅語、英語-カザフ語向けの低資源ニューラル機械翻訳（NMT）において、LMVR および MORSEL という形態論的認識型サブワード分割手法を BPE と比較して評価している。言語学的にインスパイアされた分割手法が性能を向上させるという仮説に反し、翻訳タスク全体を通じて BPE に対する一貫性のある向上や統計的に有意な差は観察されず、言語や評価指標によって性能が予測不能に変動した。

ABSTRACT

This paper evaluates the performance of several modern subword segmentation methods in a low-resource neural machine translation setting. We compare segmentations produced by applying BPE at the token or sentence level with morphologically-based segmentations from LMVR and MORSEL. We evaluate translation tasks between English and each of Nepali, Sinhala, and Kazakh, and predict that using morphologically-based segmentation methods would lead to better performance in this setting. However, comparing to BPE, we find that no consistent and reliable differences emerge between the segmentation methods. While morphologically-based methods outperform BPE in a few cases, what performs best tends to vary across tasks, and the performance of segmentation methods is often statistically indistinguishable.

研究の動機と目的

• 形態論的認識型サブワード分割が低資源 NMT の性能を向上させるかどうかを評価すること。
• BLEU および CHRF3 スコアの観点から、LMVR および MORSEL を BPE と比較すること。
• バックトランスレーションやその他の補助的技術を除外することで、分割手法の影響を明確にすること。
• 低資源環境下で、形態論的構造が再利用可能なサブワードユニットを生み出すかどうかを調査すること。
• ベイジアン線形モデルとノンパラメトリック検定を用いて、性能差をモデル化すること。

提案手法

• FLoRes および WMT19 データセットを用いて、英語-ネパール語、英語-僧伽羅語、英語-カザフ語向けに、Transformer をベースとする NMT モデルを学習した。
• 4 種類の分割手法を適用：Subword-NMT（BPE）、SentencePiece、LMVR、MORSEL。これらはすべて単語語彙データ上で学習された。
• 非英語テキストには Indic NLP ツールキット、英語テキストには Moses ツールキットをそれぞれ用いた。
• 複数のデータ条件（例：カザフ語では 120k および 220k）を想定し、開発セットおよびテストセットで BLEU および CHRF3 評価指標を用いて評価した。
• タスクおよび手法の効果を推定するため、ベイジアン線形モデルを適用し、BPE ベースラインとの対比較を実施した。
• 性能差の統計的有意性を評価するため、ノンパラメトリック仮説検定を実施した。

実験結果

リサーチクエスチョン

• RQ1 形態論的認識型分割（LMVR/MORSEL）は、低資源 NMT において BPE を上回る性能を示すか？
• RQ2 分割手法間の性能差は、翻訳タスク全体で一貫しているか？
• RQ3 LMVR および MORSEL は、BLEU および CHRF3 の観点から、BPE に対して統計的に有意な改善をもたらすか？
• RQ4 言語タイプ（例：接尾語的言語対非接尾語的言語）によって、分割手法の効果はどのように変化するか？
• RQ5 ベイジアンモデリングおよびノンパラメトリック検定は、分割戦略間の性能差を信頼性高く検出できるか？

主な発見

• LMVR は BPE よりも性能が悪く、後方平均差は -0.26 BLEU ポイント（95％信頼区間が 0 を含む）であり、改善の信頼性は認められなかった。
• MORSEL は BPE に対してわずかな負の効果を示した（平均差 -0.12 BLEU ポイント）、が信頼区間が 0 を含むため、顕著な利点は認められなかった。
• どの翻訳タスクにおいても、BPE よりも一貫して優れた分割手法は存在せず、最良の手法は言語や評価指標によって変動した。
• LMVR は 16 種のタスク-指標組み合わせのうちたった 1 つ（1/16）で最良または並びで最良の成績を収めたが、BPE は 6 回のケースで最良だった。
• CHRF3 スコアは BLEU ほど手法間の差を識別できず、評価指標の選択が性能差の認識に影響を与える可能性を示唆した。
• 性能差はほとんどが小さく、統計的に区別できない状況が多かった。形態論的認識型手法に一貫した利点は認められなかった。