[論文レビュー] Bilingual Dictionary Based Neural Machine Translation without Using Parallel Sentences

Xiangyu Duan, Baijun Ji+6 more|arXiv (Cornell University)|Jul 6, 2020

Natural Language Processing Techniques参考文献 31被引用数 9

ひとこと要約

本稿では、平行文の監視を一切用いずに、真の二語対訳語彙と単語語彙のみを活用する、ニューラル機械翻訳（NMT）フレームワークを提案する。 Anchored Training（AT）を導入し、語彙に由来する語のペアをアンカーポイントとして用いて、源言語と標的言語の表現を整合化する。その結果、400万件を超える平行文で学習された教師ありSMTと同等の性能を達成し、とくに言語がかけ離れた言語対において顕著である。

ABSTRACT

In this paper, we propose a new task of machine translation (MT), which is based on no parallel sentences but can refer to a ground-truth bilingual dictionary. Motivated by the ability of a monolingual speaker learning to translate via looking up the bilingual dictionary, we propose the task to see how much potential an MT system can attain using the bilingual dictionary and large scale monolingual corpora, while is independent on parallel sentences. We propose anchored training (AT) to tackle the task. AT uses the bilingual dictionary to establish anchoring points for closing the gap between source language and target language. Experiments on various language pairs show that our approaches are significantly better than various baselines, including dictionary-based word-by-word translation, dictionary-supervised cross-lingual word embedding transformation, and unsupervised MT. On distant language pairs that are hard for unsupervised MT to perform well, AT performs remarkably better, achieving performances comparable to supervised SMT trained on more than 4M parallel sentences.

研究の動機と目的

• 平行文の監視が一切ない状況下で、真の二語対訳語彙と単語語彙のみを用いたニューラル機械翻訳の可能性を検討すること。
• ゼロショット翻訳設定において、源言語空間と標的言語空間の間の大きな表現ギャップを解消すること。
• 初期化の段階でのみではなく、トレーニング全体を通じて二語対訳語彙を有効に活用するトレーニング手法の開発。
• 教師ありNMTが著しく性能を発揮するが、無教師NMTが性能を発揮しにくい、言語がかけ離れた言語対における翻訳性能の向上。

提案手法

• 真の二語対訳語彙から抽出した語のペアをアンカーポイントとして用い、源言語と標的言語の表現間の分布ギャップを低減するため、Anchored Training（AT）を提案する。
• モデルは、共有潜在空間内での語彙ペアの対応する埋め込み表現の距離を最小化することでトレーニングされる。
• Bi-view ATは、源言語および標的言語の両方の視点からアンカーポイントを適用し、2つの視点を統合することで、より良好な整合性と翻訳品質を実現する。
• XLMなどのクロスリンガル事前学習とATを組み合わせることで、特に低リソースおよび言語がかけ離れた言語対において性能を向上させる。
• 文レベル表現を抽出するためにマックスプーリングを用い、平行文ペア間のコサイン類似度を用いてクロスリンガル不変性を評価する。
• 複数の言語対でBLEUスコアを用いて評価し、語彙サイズと真の語彙対比して人工的に生成された語彙の影響をアブレーションスタディで検証する。

実験結果

リサーチクエスチョン

• RQ1 平行文の監視が一切ない状況下で、二語対訳語彙と単語語彙のみを用いたニューラル機械翻訳システムが、高い性能を達成できるか。
• RQ2 無教師NMTや語彙支援埋め込み変換と比較して、Anchored Training（AT）が源言語と標的言語の表現間の分布ギャップをどれほど効果的に低減できるか。
• RQ3 源言語と標的言語の両方の視点からのアンカーポイント適用（Bi-view AT）が、単一視点アンカーリングよりも翻訳品質を向上させるか。
• RQ4 平行文が存在しない状況下で、二語対訳語彙のサイズが翻訳性能に与える影響は何か。
• RQ5 提案手法が、400万件を超える平行文で学習された教師ありSMTシステムと同等の性能を達成できるか、特に言語がかけ離れた言語対において。

主な発見

• Bi-view ATは中国語-英語翻訳で21.16のBLEUスコアを達成し、真の語彙を用いたXLM+UNMT（20.68）およびAT（19.83）を顕著に上回った。
• 真の語彙の四分の一（約3,000語のペア）を用いた場合、XLM+UNMTを上回る性能を示し、ACP+ATでは22.84のBLEUスコアを達成した。
• ACP+ATで語彙を完全に活用した場合、中国語-英語翻訳で26.80のBLEUスコアを達成し、400万件を超える平行文で学習された教師ありSMTシステムに近い性能に到達した。
• 真の二語対訳語彙は、無教師BLIで生成された人工語彙よりも一貫して優れており、中国語-英語翻訳において3.1のBLEUスコアの優位性を示した。
• 文レベルのコサイン類似度分析から、ACP+Bi-view ATは、全エンコーダーレイヤーにおいてXLM+UNMTよりも強いクロスリンガル不変性を達成していることが確認された。
• 本手法は、無教師NMTが性能を発揮しにくい言語がかけ離れた言語対において特に優れた性能を示し、低リソース環境でも頑健であることが示された。