[論文レビュー] Language Graph Distillation for Low-Resource Machine Translation

Tianyu He, Jiale Chen+2 more|arXiv (Cornell University)|Aug 17, 2019

Natural Language Processing Techniques参考文献 24被引用数 8

ひとこと要約

本稿では、多言語翻訳経路を横断する前向きおよび後向きの知識移譲を活用することで、低資源ニューラル機械翻訳を向上させる、新しいグラフベースの知識蒸留フレームワーク「Language Graph Distillation」を提案する。TED Talks多言語データセットを用いた実験では、低資源翻訳ペアで3.13ポイント以上のBLEUスコア向上を達成し、言語的関係を活用してゼロショットおよびフェイシュット翻訳性能を向上させることの有効性を示している。

ABSTRACT

Neural machine translation on low-resource language is challenging due to the lack of bilingual sentence pairs. Previous works usually solve the low-resource translation problem with knowledge transfer in a multilingual setting. In this paper, we propose the concept of Language Graph and further design a novel graph distillation algorithm that boosts the accuracy of low-resource translations in the graph with forward and backward knowledge distillation. Preliminary experiments on the TED talks multilingual dataset demonstrate the effectiveness of our proposed method. Specifically, we improve the low-resource translation pair by more than 3.13 points in terms of BLEU score.

研究の動機と目的

• 不足した双方向並列データによる低資源ニューラル機械翻訳の課題に対処すること。
• 言語をノード、翻訳ペアをエッジとする言語グラフ構造を用いて、多言語翻訳関係を体系的にモデル化すること。
• 高品質な多言語経路を介した前向きおよび後向きの知識蒸留を通じて、低資源言語ペアの翻訳精度を向上させること。
• TED Talksのような実世界の多言語データセットにおいて、提案されたグラフベースの知識蒸留フレームワークの有効性を示すこと。

提案手法

• 著者らは、言語（ノード）を表す集合Vと、双方向翻訳ペア（エッジ）を表す集合Eからなる有向言語グラフG = (V, E)を定義し、エッジの重みは翻訳品質を反映する。
• データ不足と初期性能の低さに基づき、改善が期待できる高潜在力の翻訳エッジ（低資源ペア）を同定する。
• 高品質な多言語経路（例：ソース → ピボット → ターゲット）から合成並列データを生成することで、前向き知識蒸留を実行し、低資源翻訳モデルを強化する。
• ターゲット言語モデルを用いて単語語彙テキストを生成し、それを再びソース言語に翻訳することで、後向き知識蒸留を実施し、整合性とスムーズさを向上させる。
• 複数ホップにわたる形で、前向きおよび後向きの蒸留を統合し、複数の言語的経路にわたり知識が流れ込むようにする。
• 反復的に適用され、各イテレーションで最高性能を示す言語ペアを選択することで、モデルを精緻化し、グラフ全体に改善を伝搬させる。

実験結果

リサーチクエスチョン

• RQ1 構造化された言語グラフは、多言語翻訳関係を効果的にモデル化し、低資源翻訳を向上させることができるか？
• RQ2 高品質な多言語経路からの前向き知識蒸留は、低資源翻訳性能をどのように向上させるか？
• RQ3 グラフベースのフレームワークに統合された後向き知識蒸留（バックトランスレーション）は、低資源翻訳においてどの程度の向上効果をもたらすか？
• RQ4 前向きおよび後向きの蒸留をグラフ構造的に統合することで、ワンホップのバックトランスレーションや独立した前向き蒸留と比較して、より優れた結果が得られるか？
• RQ5 高潜在力の翻訳ペアの反復的選択は、低資源環境における全体的なスコア向上にどのように寄与するか？

主な発見

• 提案された言語グラフ蒸留手法は、ベースラインの多言語モデルと比較して、低資源翻訳ペアで平均3.13ポイントのBLEUスコア向上を達成した。
• 2回目のイテレーションにおいて、本手法はワンホップバックトランスレーションベースライン（+BT）を平均2.73ポイント上回った。
• He → Nb翻訳ペアでは、本手法が17.64のBLEUスコアを達成したが、+BTベースライン（18.78）をわずかに下回った。これは、すでに高い性能を示しているモデルに対して、本手法がさらなる向上をもたらさない可能性を示唆している。
• 前向き蒸留ベースライン（+Forward）は平均2.51ポイントのBLEU向上を達成したが、これは高品質な経路からの知識移譲が有効であるが、完全なグラフベースのアプローチに比べてやや劣ることを示している。
• 本手法は、両イテレーションにおいて、+BTおよび+Forwardベースラインを大多数の言語ペアで上回り、前向きおよび後向きの蒸留を統合したアプローチの優位性を実証した。
• 結果から、言語的関係を言語グラフでモデル化することで、孤立したデータ拡張やピボットベース手法よりも、より効果的な知識移譲が可能であることが検証された。