[論文レビュー] Active Learning for Massively Parallel Translation of Constrained Text into Low Resource Languages

Zhong Zhou, Alex Waibel|arXiv (Cornell University)|Aug 16, 2021

Natural Language Processing Techniques参考文献 48被引用数 7

ひとこと要約

本稿では、大量並列ニューラル機械翻訳における低資源言語へのアクティブラーニングのために、ランダムサンプリング手法を提案する。従来の部分ベースの人的翻訳戦略に比べて優れた性能を示す。聖書から約1,000行をランダムに抽出して初期のシードコーパスとし、人的な校正と語彙拡張を繰り返し適用することでモデルを更新する。この手法により、英語翻訳では+8.5 BLEU、東部ポコムチ語翻訳では+1.9 BLEUの向上が達成された。語彙の更新が特に重要であり、完全なドラフトを用いた自己教師付き事前学習は性能を劣化させる。

ABSTRACT

We translate a closed text that is known in advance and available in many languages into a new and severely low resource language. Most human translation efforts adopt a portion-based approach to translate consecutive pages/chapters in order, which may not suit machine translation. We compare the portion-based approach that optimizes coherence of the text locally with the random sampling approach that increases coverage of the text globally. Our results show that the random sampling approach performs better. When training on a seed corpus of ~1,000 lines from the Bible and testing on the rest of the Bible (~30,000 lines), random sampling gives a performance gain of +11.0 BLEU using English as a simulated low resource language, and +4.9 BLEU using Eastern Pokomchi, a Mayan language. Furthermore, we compare three ways of updating machine translation models with increasing amount of human post-edited data through iterations. We find that adding newly post-edited data to training after vocabulary update without self-supervision performs the best. We propose an algorithm for human and machine to work together seamlessly to translate a closed text into a severely low resource language.

研究の動機と目的

• 閉鎖的・制約付きのテキストを、最小限の人的努力で深刻な低資源言語に翻訳する課題に対処すること。
• 低資源機械翻訳における初期コーパス選定のための、部分ベースの人的翻訳戦略とランダムサンプリングの有効性を比較すること。
• 人的校正データと語彙の適応を用いた反復的モデル更新戦略が、低資源環境で翻訳品質に与える影響を評価すること。
• 翻訳品質を加速させつつ、一貫性とカバレッジを維持する共同の人間・機械ワークフローを開発すること。

提案手法

• 閉鎖されたテキスト（例：聖書）から約1,000行をランダムに抽出し、局所的な一貫性よりも全体的なカバレッジを重視して初期シードコーパスを構築する。
• 提案手法は、マルチソース・マルチターゲットモデルを用いた機械翻訳と、繰り返しのラウンドで選択されたテキスト断片の人的校正を交互に実行する。
• モデル更新では、新たに校正されたデータに加え、語彙拡張を組み込む。完全な翻訳ドラフトを事前学習することで性能劣化を避ける。
• 翻訳品質は、保持されたテストセットにおけるBLEUスコアで評価され、反復回数と言語的ジャンルごとに性能を追跡する。
• 複数のソース言語からの翻訳を統合するセンター性測定値を用いて、人的レビュー前のドラフト品質を向上させる。
• 次の校正対象断片は、語彙の多様性とモデルの不確実性の増加に基づき、動的に選択される。

実験結果

リサーチクエスチョン

• RQ1 ランダムサンプリングによる初期コーパス選定は、低資源機械翻訳において、従来の部分ベースのアプローチを上回るか？
• RQ2 人的校正と語彙の適応を用いた反復的モデル更新は、低資源環境での翻訳品質にどのように影響するか？
• RQ3 完全な翻訳ドラフトを用いた自己教師付き事前学習は、語彙拡張による段階的更新と比較して、どのような影響を及ぼすか？
• RQ4 閉鎖的テキスト内の異なる文学的ジャンルは、翻訳のパフォーマンスと学習効率にどのように影響するか？
• RQ5 共同の人間・機械ワークフローは、深刻な低資源言語において、最小限の人的入力で高品質な翻訳を達成できるか？

主な発見

• 英語（模擬的低資源言語）に翻訳する際、ランダムサンプリング手法は部分ベースのアプローチを+8.5 BLEU上回った。
• マヤ語の東部ポコムチ語では、ランダムサンプリング法がベースラインを+1.9 BLEU上回り、真の低資源環境でも有効性を示した。
• 新たに校正されたデータによる語彙の更新は、性能向上に顕著に寄与し、更新済み語彙（Updated-Vocab）は旧語彙（Old-Vocab）およびベースラインを上回った。
• 完全な翻訳ドラフトを用いた自己教師付き事前学習は、理論的には魅力的だが、性能を劣化させるため避けるべきである。
• パフォーマンス向上は本ごとに不均一であり、『箴言』『ソロモンの歌』のような哲学的・詩的テキストは、訓練データの約20％を処理した後、急速に向上した。
• 『テトス』のような一部の本は、33冊分の訓練データを処理しても依然として翻訳が困難であり、ジャンルやスタイルに強く依存する学習効果が顕著に現れた。