[論文レビュー] Application of Low-resource Machine Translation Techniques to Russian-Tatar Language Pair

Aidar Valeev, Ilshat Gibadullin+2 more|arXiv (Cornell University)|Oct 1, 2019

Natural Language Processing Techniques参考文献 13被引用数 7

ひとこと要約

この論文は、324,000文の小規模な平行コーパスを用いて、未だ十分に研究が進んでいないロシア語＝タタール語言語対に対して、低リソースニューラル機械翻訳技術——特に転移学習、バックトランスレーション、シャロウフュージョン——を適用している。変換器ベースのモデルを用い、関連するカザフスタン語＝ロシア語対からの転移学習が最も高い向上をもたらし、ベースライン比で翻訳品質が +2.89 BLEU（タタール語→ロシア語）および +2.57 BLEU（ロシア語→タタール語）向上した。

ABSTRACT

Neural machine translation is the current state-of-the-art in machine translation. Although it is successful in a resource-rich setting, its applicability for low-resource language pairs is still debatable. In this paper, we explore the effect of different techniques to improve machine translation quality when a parallel corpus is as small as 324 000 sentences, taking as an example previously unexplored Russian-Tatar language pair. We apply such techniques as transfer learning and semi-supervised learning to the base Transformer model, and empirically show that the resulting models improve Russian to Tatar and Tatar to Russian translation quality by +2.57 and +3.66 BLEU, respectively.

研究の動機と目的

• スラヴ語とトゥルク語の間で低リソースニューラル機械翻訳に関する研究が不足していることに対処する。特にロシア語＝タタール語対に焦点を当てる。
• 限定された平行コーパスおよびモノリンガルコーパスの状況下でも、ロシア語＝タタール語翻訳の品質を向上させること。
• 低リソース環境下における転移学習、バックトランスレーション、言語モデル統合の有効性を評価すること。
• モデル品質とバックトランスレーションの有効性の関係、特に初期化品質との関連を調査すること。

提案手法

• 324,000文のロシア語＝タタール語文対からなる小規模な平行コーパス上で、変換器ベースのNMTモデルを微調整する。
• 関連するカザフスタン語＝ロシア語対からの事前学習重みを用いてモデルを初期化し、1または6エポックで学習することで転移学習を適用する。
• 初期NMTモデルを用いてモノリンガルのタタール語およびロシア語コーパスから合成平行データを生成することで、バックトランスレーションを実施する。
• シャロウフュージョンを用いて事前学習済み言語モデルをNMTモデルに統合し、NMTとLMのログ確率を学習可能な重みハイパーパrameterで結合する。
• 実際のデータと合成データを組み合わせたデータ上で最終モデルを学習し、過学習を避けるために注意深く検証を行う。
• 一般化性能を向上させるために、シャロウフュージョンの重みや合成データ比といったハイパーパrameterを最適化する。

実験結果

リサーチクエスチョン

• RQ1 関連する低リソース言語対（カザフスタン語＝ロシア語）からの転移学習は、ロシア語＝タタール語翻訳品質の向上にどの程度有効か？
• RQ2 バックトランスレーションは、異なるモデル初期化段階や翻訳方向において一貫して性能を向上させるのか？
• RQ3 事前学習済み言語モデルを用いたシャロウフュージョンは、低リソース環境下で翻訳品質を顕著に向上させるか？
• RQ4 初期モデルの品質がバックトランスレーションの有効性にどのように影響するか？
• RQ5 転移学習、バックトランスレーション、LM統合の最適な組み合わせは何か？（低リソーススラヴ語＝トゥルク語翻訳に最適化）

主な発見

• 1エポックのカザフスタン語＝ロシア語初期化からの転移学習により、タタール語→ロシア語翻訳が +2.57 BLEU（大文字・小文字区別あり）向上し、ロシア語→タタール語翻訳が +2.89 BLEU（大文字・小文字区別なし）向上した。
• 6エポックにまで転移学習を延長したことでさらなる向上が得られ、ベースライン比でタタール語→ロシア語翻訳が +2.89 BLEU、ロシア語→タタール語翻訳が +2.57 BLEU 向上した。
• バックトランスレーションは、低品質なモデルに対してのみ顕著な向上をもたらした。6エポック初期化済みモデルに対して適用した場合、効果は微々たるか、場合によっては逆に悪化した。
• 言語モデルのシャロウフュージョン統合は性能向上に失敗し、最適なハイパーパrameter設定下でも +0.01 BLEU のわずかな向上にとどまった。
• バックトランスレーションの有効性は、下位モデルの品質と逆相関関係にあり、初期化品質が向上するにつれて収益が減少する傾向が示された。
• 最高の全体的な結果は、1エポックのカザフスタン語初期化モデルにバックトランスレーションを適用したタタール語→ロシア語方向で得られ、30.06 BLEU（大文字・小文字区別なし）を達成した。