[論文レビュー] Enriching the Transformer with Linguistic and Semantic Factors for Low-Resource Machine Translation.

Jordi Armengol-Estapé, Marta R. Costa‐jussà+1 more|arXiv (Cornell University)|Apr 17, 2020

Natural Language Processing Techniques被引用数 2

ひとこと要約

本論文では、低資源機械翻訳の性能向上を目的として、言語的および意味的要因をモデルに統合した変更版Transformerアーキテクチャ、Factored Transformerを提案する。外部知識を埋め込みまたはエンコーダー層レベルで、異なる組み合わせ戦略を用いて要因として統合することで、IWSLTドイツ語-英語翻訳で+0.8 BLEU、FLoRes英語-ネパール語翻訳で+1.2 BLEUの向上を達成した。言語的要因は意味的要因よりも効果的であることが示された。

ABSTRACT

Introducing factors, that is to say, word features such as linguistic information referring to the source tokens, is known to improve the results of neural machine translation systems in certain settings, typically in recurrent architectures. This study proposes enhancing the current state-of-the-art neural machine translation architecture, the Transformer, so that it allows to introduce external knowledge. In particular, our proposed modification, the Factored Transformer, uses factors, either linguistic or semantic, that insert additional knowledge into the machine translation system. Apart from using different kinds of features, we study the effect of different architectural configurations. Specifically, we analyze the performance of combining words and features at the embedding level or at the encoder level, and we experiment with two different combination strategies. With the best-found configuration, we show improvements of 0.8 BLEU over the baseline Transformer in the IWSLT German-to-English task. Moreover, we experiment with the more challenging FLoRes English-to-Nepali benchmark, which includes both extremely low-resourced and very distant languages, and obtain an improvement of 1.2 BLEU. These improvements are achieved with linguistic and not with semantic information.

研究の動機と目的

• 低資源機械翻訳の向上を目的として、外部の言語的および意味的知識をTransformerアーキテクチャに統合すること。
• 具体的には、語と要因を埋め込みレベルかエンコーダー層レベルで統合するという、異なるアーキテクチャ的構成が翻訳性能に与える影響を調査すること。
• 低資源環境下での言語的要因と意味的要因の有効性を評価すること。
• 低資源シナリオにおける翻訳向上を最大化する最適な要因組み合わせ戦略を同定すること。
• 構造的言語的知識を注意に基づくTransformerフレームワークに統合する可能性と有効性を示すこと。

提案手法

• 外部要因（品詞タグや意味的埋め込みなど）を追加入力として統合する、変更版のTransformerアーキテクチャ「Factored Transformer」を提案すること。
• 要因を埋め込みレベルまたはエンコーダー層で統合することで、異なるアーキテクチャ的構成を可能にすること。
• 語の表現と要因の表現を統合するための2つの異なる戦略（連結と要素ごとの加算）を適用すること。
• IWSLTおよびFLoResベンチマークを含む、低資源翻訳タスク上でモデルをエンドツーエンドで訓練すること。
• 外部知識源として、言語的特徴（例：品詞タグ）と意味的特徴（例：単語埋め込み）を用いること。
• 標準的な低資源翻訳ベンチマーク上でBLEUスコアを用いてモデルの性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 言語的および意味的要因をTransformerアーキテクチャに統合することで、低資源環境下での翻訳性能にどのような影響を与えるか？
• RQ2 要因を埋め込みレベルで統合するのとエンコーダー層で統合するのとでは、どちらがより優れた結果をもたらすか？
• RQ3 連結戦略と要素ごとの加算戦略のうち、どちらが優れた性能をもたらすか？
• RQ4 低資源機械翻訳において、言語的要因は意味的要因よりも効果的か？
• RQ5 Factored Transformerは、挑戦的な低資源ベンチマークにおいて、標準Transformerよりも顕著な改善を達成できるか？

主な発見

• Factored Transformerは、IWSLTドイツ語-英語翻訳という低資源翻訳タスクにおいて、標準Transformerよりも+0.8 BLEUの向上を達成した。
• より挑戦的なFLoRes英語-ネパール語ベンチマークでは、翻訳性能が+1.2 BLEU向上した。
• 低資源環境下では、品詞タグなどの言語的要因が意味的要因よりも高い向上効果を示した。
• 要因をエンコーダー層で統合し、連結戦略を用いることで、最高の性能が達成された。
• 要因による外部知識の統合は、低資源シナリオにおけるTransformerの一般化能力を顕著に向上させた。
• 本手法は、大規模な並列コーパスを必要とせずに、構造的言語的知識をアーキテクチャ的に統合することで、翻訳品質を効果的に向上させられることを示した。