[論文レビュー] Analyzing the Use of Character-Level Translation with Sparse and Noisy Datasets

Jörg Tiedemann, Preslav Nakov|arXiv (Cornell University)|Sep 27, 2021

Natural Language Processing Techniques参考文献 36被引用数 15

ひとこと要約

本稿は、低リソースでノイズが多く、スパarsなデータセット（特にクラウドソーシングされた映画字幕）を対象とし、ブルガリア語などの類縁語をピボット言語として用いることで、マケドニア語から英語への機械翻訳を改善する文字単位の統計的機械翻訳（SMT）を調査している。文字単位のモデルが語彙外語（OOV）語を40％以上削減し、データ量が少ない状況ではBLEUスコアを2–3ポイント向上させることを示しており、複数のピボット言語を用いた合成データ生成が段階的翻訳モデルを上回ることを確認した。

ABSTRACT

This paper provides an analysis of character-level machine translation models used in pivot-based translation when applied to sparse and noisy datasets, such as crowdsourced movie subtitles. In our experiments, we find that such character-level models cut the number of untranslated words by over 40% and are especially competitive (improvements of 2-3 BLEU points) in the case of limited training data. We explore the impact of character alignment, phrase table filtering, bitext size and the choice of pivot language on translation quality. We further compare cascaded translation models to the use of synthetic training data via multiple pivots, and we find that the latter works significantly better. Finally, we demonstrate that neither word-nor character-BLEU correlate perfectly with human judgments, due to BLEU's sensitivity to length.

研究の動機と目的

• スパースかつノイズの多いデータセット（例：クラウドソーシングされた映画字幕）における低リソース機械翻訳の課題に対処すること。
• 従来の語彙単位モデルが困難に感じるデータ量が限られた状況下で、文字単位のSMTモデルの有効性を検討すること。
• ピボット言語の選定、フレーズテーブルのフィルタリング、文字レベルのアラインメント、データサイズが翻訳品質に与える影響を調査すること。
• 段階的翻訳と複数のピボットを用いた合成データ生成の比較を通じて、性能向上を図ること。
• 自動評価指標（BLEU）と人間の評価との相関関係、特に文長への感受性を評価すること。

提案手法

• 文字を単位とする語彙ベースのSMTモデルを訓練し、空白には特別なトークンを割り当て、フレーズ長および言語モデルの順序を最大10まで許容する。
• ソース文とターゲット文を文字レベルでアラインメントするアルゴリズムを適用し、サブワードレベルの翻訳を可能にする。
• フレーズテーブルのプルーニングとフィルタリングを実施し、モデルの効率性と翻訳品質を向上させる。
• 複数のピボット言語（例：マケドニア語 → ブルガリア語 → 英語）を段階的に連結することで、合成学習データを生成し、言語間の類縁性を活用する。
• 語彙単位と文字単位のモデルを統合し、語彙的およびサブワードレベルのマッピングの両方の利点を活用する。
• CohenのKappa係数を用いて手動による人間評価を実施し、評価者間の一貫性を評価するとともに、BLEUスコアと人間の評価を比較する。

実験結果

リサーチクエスチョン

• RQ1 低リソースでノイズの多いデータセットにおいて、文字単位のSMTモデルは語彙外語（OOV）語の削減にどの程度有効か？
• RQ2 スパースデータ環境下で、文字アラインメント、フレーズテーブルのフィルタリング、ピボット言語の選定が翻訳品質に与える影響は？
• RQ3 複数のピボットを用いた合成データ生成は、単一ピボットを用いた段階的翻訳を上回るか？
• RQ4 語彙単位と文字単位のBLEUスコアは、文長の影響を受けて人間の評価とどの程度相関するか？
• RQ5 文字単位のモデルは、ユーザー生成コンテンツに一般的な綴りの誤り、語形変化、トークン分割エラーに対してどの程度耐性を示すか？

主な発見

• 文字単位のSMTモデルは、語彙単位モデルと比較して、翻訳不能な語の数を40％以上削減し、スムーズな翻訳と情報保持の向上を実現した。
• データ量が限られる状況下でも、文字単位のモデルは語彙単位のベースラインと比較してBLEUスコアを2–3ポイント向上させ、限られた並列データでも高い性能を示した。
• 複数のピボットを用いた合成データ生成は、すべての段階的翻訳設定を上回り、ベースラインから14 BLEUポイントの向上を達成した。
• 仮説／基準文の長さ比がBLEUスコアに強く影響する：1.0に近い比（例：1.006）を持つモデルは、より高いBLEUスコアを示し、人間の順位付けとBLEU順位付けの乖離を説明できる。
• 人間の評価ではほぼ完全な一致（CohenのKappa > 0.83）が得られたが、BLEUスコアは文長への感受性により、人間の評価と完全に一致しなかった。
• 文字単位のモデルは、語形変化、スペルミス、語区切りエラーに対して非常に耐性があり、字幕に一般的なレア語形や未知語形（例：'razveselam' → 'razveselya' → 'cheer you up'）を正しく翻訳できる。