[論文レビュー] Cost-Effective Training in Low-Resource Neural Machine Translation

Sai Koneru, Danni Liu+1 more|arXiv (Cornell University)|Jan 14, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、モノリンガル事前学習、小規模なバイリンガル語彙の統合、および新しいアクティブラーニング（AL）戦略を組み合わせることで、リソースが限られたニューラル機械翻訳（NMT）のための費用対効果に優れたトレーニングフレームワークを提案する。交差エントロピー差分サンプリングと事前学習中の埋め込みの凍結を活用することで、通常のALに比べて最大13 BLEUの向上を達成し、アノテーション予算が非常に低い（0–50k文対）条件下でも性能が著しく向上する。

ABSTRACT

While Active Learning (AL) techniques are explored in Neural Machine Translation (NMT), only a few works focus on tackling low annotation budgets where a limited number of sentences can get translated. Such situations are especially challenging and can occur for endangered languages with few human annotators or having cost constraints to label large amounts of data. Although AL is shown to be helpful with large budgets, it is not enough to build high-quality translation systems in these low-resource conditions. In this work, we propose a cost-effective training procedure to increase the performance of NMT models utilizing a small number of annotated sentences and dictionary entries. Our method leverages monolingual data with self-supervised objectives and a small-scale, inexpensive dictionary for additional supervision to initialize the NMT model before applying AL. We show that improving the model using a combination of these knowledge sources is essential to exploit AL strategies and increase gains in low-resource conditions. We also present a novel AL strategy inspired by domain adaptation for NMT and show that it is effective for low budgets. We propose a new hybrid data-driven approach, which samples sentences that are diverse from the labelled data and also most similar to unlabelled data. Finally, we show that initializing the NMT model and further using our AL strategy can achieve gains of up to $13$ BLEU compared to conventional AL methods.

研究の動機と目的

• 極めて限られたアノテーション予算（0–50k文対）の下で、高品質なNMTシステムを構築する課題に対処すること。特に、リソースが限られた言語や絶滅危惧言語に焦点を当てる。
• 大規模な予算を仮定する既存のアクティブラーニング（AL）手法の限界を克服し、リソースが限られた状況でも有効に機能する仕組みを提供すること。
• 事前学習段階でモノリンガルデータと安価なバイリンガル語彙を補助的知識源として統合することで、モデル性能を向上させること。
• 低コストの条件下で情報量を最大化するため、多様性と密度の両方をバランスさせる新しいデータ駆動型AL戦略を設計すること。
• モノリンガルデータと語彙の監視による事前学習が、リソースが限られた状況下でALの潜在能力を十分に引き出すために不可欠であることを実証すること。

提案手法

• マスクド言語モデル（MLM）と非教師付き機械翻訳（UNMT）を用いてモノリンガルデータでNMTモデルを事前学習し、クロスリンガル表現を初期化する。
• 微分可能語彙プロジェクション層を用いて、小規模で安価なバイリンガル語彙（1,146語）をモデルに統合し、単語レベルのアライメントをガイドする。
• 交差エントロピー差分と呼ばれる新しいAL戦略を提案し、高い不確実性と未ラベルデータとの類似性を持つ文を選び、多様性と密度の両方をバランスさせる。
• MLM、UNMT、微調整の全段階で埋め込み層を凍結することで、クロスリンガル知識を保持し、深刻な忘却を防ぐ。
• ラベル付きデータセットから多様な文を抽出するとともに、未ラベルデータに最も類似した文を同時にサンプリングするハイブリッドデータ駆動型アプローチを採用し、選択品質を向上させる。
• バックトランスレーションとBPEベースのサブワードトークン化（DP-BPE）を適用し、事前学習段階でレアワードを処理し、語彙カバレッジを向上させる。

実験結果

リサーチクエスチョン

• RQ1 モノリンガルデータと小規模語彙（1,146語）による事前学習が、アノテーション予算が限られたリソースが限られた状況下でNMT性能を著しく向上させるか？
• RQ2 提案された「交差エントロピー差分」AL戦略は、RTTL や n-gram 重複といった既存の戦略と比較して、低コスト環境下でどのように性能を発揮するか？
• RQ3 マルチステージの事前学習段階で埋め込み層を凍結することで、下流のNMT性能にどのような影響を与えるか？
• RQ4 モノリンガルデータ、語彙の監視、アクティブラーニングを組み合わせることで、単一のコンポonentよりも顕著な性能向上が得られるか？
• RQ5 小規模で安価な語彙を効果的に活用することで、リソースが限られたNMTにおけるレアワード翻訳とモデルの頑健性が向上するか？

主な発見

• アクティブラーニングの前段階としてモノリンガルデータと小規模語彙（1,146語）による事前学習を実施することで、通常のAL手法に比べ最大13 BLEUの向上が達成され、顕著な性能向上が見られた。
• 提案された「交差エントロピー差分」AL戦略は、すべての言語対でSOTAのRTTL手法と同等の性能を発揮したが、カナダ語（Kannada）ではRTTLがわずかに優れている。
• MLM、UNMT、微調整の全段階で埋め込み層を凍結した場合が最良の結果を示し、En→Kn翻訳で27.3 BLEUのスコアを達成し、非凍結バージョンを上回った。
• n-gram 重複戦略は、すべての設定で性能向上を示さず、多様性のみではリソースが限られたNMTにおける有効なアクティブラーニングには不十分であることが示された。
• DP-BPEを用いた語彙知識の統合により、低頻度語のアライメントと翻訳が改善され、モデルのレアワード予測能力が向上した。
• モノリンガル事前学習、語彙統合、新しいAL戦略の組み合わせにより、厳しいアノテーション制約下でも最大限の性能を発揮する、頑健で費用対効果に優れたパイプラインが実現された。