[論文レビュー] CUNI Systems for the WMT22 Czech-Ukrainian Translation Task

Martin Popel, Jindřich Libovický+1 more|arXiv (Cornell University)|Dec 1, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、WMT22チェコ＝ウクライナ語翻訳共有タスクへのチャールズ・ユニバーシティの参加を紹介する。ブロックバックトランスレーションとタグ付きバックトランスレーションを用いた制約付きシステム2つに加え、独自開発のシステム「チャールズ・トランスレーター」を提示している。ウクライナ語テキストのローマ字表記は翻訳品質にほとんど影響を与えず、ブロックバックトランスレーションがタグ付きバックトランスレーションをわずかに上回った。テストセットにおける最終BLEUスコアは、cs→ukで35.0、uk→csで35.8を記録した。

ABSTRACT

We present Charles University submissions to the WMT22 General Translation Shared Task on Czech-Ukrainian and Ukrainian-Czech machine translation. We present two constrained submissions based on block back-translation and tagged back-translation and experiment with rule-based romanization of Ukrainian. Our results show that the romanization only has a minor effect on the translation quality. Further, we describe Charles Translator, a system that was developed in March 2022 as a response to the migration from Ukraine to the Czech Republic. Compared to our constrained systems, it did not use the romanization and used some proprietary data sources.

研究の動機と目的

• ロシアによるウクライナ侵攻に続く人道的危機に応えるために、低資源言語対であるチェコ語＝ウクライナ語向けの高品質機械翻訳システムの開発。
• 近縁するスラブ諸語間のクロスリンガル転送を向上させるために、ウクライナ語キリル文字テキストのルールベースのローマ字表記の有効性の評価。
• 制約付きバックトランスレーション手法（ブロックおよびタグ付き）と、非制約付きシステム（独自データで学習したシステム）の性能比較。
• 単語対訳データおよび単方向データの前処理、特に単語対訳データのフィルタリングと人工ノイズの注入が翻訳品質に与える影響の評価。
• 移住支援の現場でリアルタイムに利用可能な実用的で生産準備完了の翻訳システム（チャールズ・トランスレーター）の提供。

提案手法

• Marian NMTツールキットを用いてブロックバックトランスレーションを実装。合成されたターゲット側文をバックトランスレーションすることで生成された単方向データを用いて、シーケンス・ツー・シーケンスモデルを学習。
• 特別トークンを用いてバックトランスレーション中に元の言語のアイデンティティを保持するタグ付きバックトランスレーションを実装。Tensor2Tensorフレームワークを用いた。
• チェコ語の音声学的ルールを用いて、ウクライナ語キリル文字をラテン文字に変換する可逆なルールベースのローマ字表記システムを開発。これにより語彙的類似性の活用が可能になった。
• FastTextを用いて言語検出、長さ比フィルタリング、正規表現ベースの非翻訳要素（メールアドレスや固有名詞など）の削除により、並列データおよび単方向データをフィルタリング。
• 耐性向上を目的として、ソース側文に合成ノイズを適用。文字レベルの破損技術を用いた。
• NewsCrawlデータ上で軽量なTransformerモデルを学習し、句読点の復元とトークン解除を実行。事前にトークン化および句読点を除去した単方向ウクライナ語データを対象としている。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのローマ字表記が、低資源のチェコ語＝ウクライナ語機械翻訳において翻訳品質を顕著に向上させるか？
• RQ2 WMT22テストセットにおいて、ブロックバックトランスレーションとタグ付きバックトランスレーションのBLEU、chrF、COMETスコアの違いは何か？
• RQ3 データ前処理の選択（フィルタリング、ノイズ注入、単方向データのクリーニング）がシステム性能に与える影響の程度は？
• RQ4 公開データで学習した制約付きシステムと、独自データで学習した非制約付きシステム（チャールズ・トランスレーター）の実世界での展開状況における性能の差は？
• RQ5 バッチサイズなどのハイパーパrameterが翻訳品質に与える影響は？特に、アーキテクチャ的要因やデータ拡張手法と比較して。

主な発見

• ウクライナ語キリル文字のローマ字表記は、翻訳品質にほとんど影響を与えず、どちらの翻訳方向に対しても一貫した向上は観察されなかった。
• ブロックバックトランスレーションがタグ付きバックトランスレーションをわずかに上回り、WMT22テストセットにおけるBLEUスコアは、cs→ukで35.0、uk→csで35.8を記録した。
• ローマ字表記を使用しないが、独自データで学習した非制約付きのチャールズ・トランスレーターは、競争力のある結果を示し、BLEUスコアはcs→ukで34.3、uk→csで35.9を記録。制約付きシステムと同等の性能を発揮した。
• 複数モデルのアンサンブルはわずかな改善しかもたらさず、初期化やデータ拡張による多様性の影響が限定的であることが示唆された。
• バッチサイズは、多くのデータ拡張や前処理手法よりも性能に強い影響を与えた。同じアーキテクチャであっても、バッチサイズが3倍高いキリル文字システムが、他のシステムを上回った。
• COMETスコアは、この言語対では訓練データが不足していたため信頼性が低く、評価にはBLEUとchrFがより有用な指標であった。