[論文レビュー] CALCS 2021 Shared Task: Machine Translation for Code-Switched Data

Shuguang Chen, Gustavo Aguilar+3 more|arXiv (Cornell University)|Feb 19, 2022

Natural Language Processing Techniques被引用数 10

ひとこと要約

本論文は、コードスイッチドSNSデータにおける機械翻訳（MT）の共有課題を紹介し、英語→ヒングルー、英語→スペイン語混在語、英語→MSAE-Arabicの両方向翻訳を対象としている。提示されたのは、キュレート済みのデータセットと、mBARTおよびmT5を用いたベースラインであり、英語→ヒングルーで12.67 BLEU、MSAE-Arabic→英語で25.72 BLEUの最先端の結果を報告しており、コードスイッチドMTにおける文法、構文、意味の課題を強調している。

ABSTRACT

To date, efforts in the code-switching literature have focused for the most part on language identification, POS, NER, and syntactic parsing. In this paper, we address machine translation for code-switched social media data. We create a community shared task. We provide two modalities for participation: supervised and unsupervised. For the supervised setting, participants are challenged to translate English into Hindi-English (Eng-Hinglish) in a single direction. For the unsupervised setting, we provide the following language pairs: English and Spanish-English (Eng-Spanglish), and English and Modern Standard Arabic-Egyptian Arabic (Eng-MSAEA) in both directions. We share insights and challenges in curating the "into" code-switching language evaluation data. Further, we provide baselines for all language pairs in the shared task. The leaderboard for the shared task comprises 12 individual system submissions corresponding to 5 different teams. The best performance achieved is 12.67% BLEU score for English to Hinglish and 25.72% BLEU score for MSAEA to English.

研究の動機と目的

• コードスイッチドSNSテキストにおける標準化された機械翻訳リソースの不足に応えること、特に多言語的かつ非公式な文脈において。
• コードスイッチド言語ペアのMTシステムの評価と発展を可能にするコミュニティ共有課題を構築すること。
• 不規則な文法や構文的曖昧さといった言語的課題に焦点を当てた、高品質で多様な評価データをキュレートすること。
• mBARTやmT5のような多言語モデルを用いた強力なベースラインを提供し、パフォーマンスベンチマークを確立すること。
• データの重複と正規化が評価指標、特にBLEUスコアに与える影響を調査すること。

提案手法

• 課題には教師ありおよび教師なしの設定が含まれ、参加者は英語単語の翻訳をヒングルー、スペイン語混在語、MSAEなどのコードスイッチド言語に翻訳する。
• データセットは、既存のCALCSデータセットを拡張することで構築され、文内コードスイッチングを特徴とするSNSテキストに焦点を当てている。
• ベースラインシステムは、キュレート済みのコードスイッチド並列データ上で微調整されたmBARTおよびmT5を用いて開発された。
• 評価にはBLEUスコアが用いられ、重複するトークン（例：ユーザーネーム、URL、絵文字）を除去する正規化ステップが実施され、データ漏洩を低減した。
• 誤り分析は、モデル出力の文法的および意味的誤りを特定するために、手動による予測の検査を通じて実施された。
• リーダーボードの結果は、5チームから12件の個別システム提出を受け付け、複数の言語ペアにおけるパフォーマンスが測定された。

実験結果

リサーチクエスチョン

• RQ1 単語の翻訳をコードスイッチド言語に翻訳する際の主な言語的および構造的課題は何か？
• RQ2 不規則な文法、標準でない構文、曖昧な語彙的要素は、コードスイッチド環境におけるMTパフォーマンスにどのように影響するか？
• RQ3 訓練データとテストデータの間のデータ重複が、コードスイッチドMTの評価においてBLEUスコアをどの程度誇張するか？
• RQ4 mBARTやmT5のような多言語事前学習モデルは、カスタムアーキテクチャと比較して、コードスイッチドMTでどの程度のパフォーマンスを示すか？
• RQ5 最先端のコードスイッチドMTシステムにおける主な誤りタイプは、文法的誤りか意味的誤りか？

主な発見

• 最高パフォーマンスを示したシステムは、英語→ヒングルー翻訳タスクで12.67 BLEUスコアを達成し、ベースラインシステムを上回った。
• MSAE-Arabic→英語の方向では、最高のシステムが25.72 BLEUを達成し、アラビア語コードスイッチングペアでより高いパフォーマンスを示した。
• 入力を出力として使用したEchoシステムは、正規化前のBLEUスコアが6.84であったが、重複するトークンを除去した後は0.71に低下し、データ漏洩の問題を浮き彫りにした。
• 正規化により、すべてのシステムでBLEUスコアが著しく低下し、スコアの低下幅は0.43から6.13ポイントまで変動した。これは、データ重複がパフォーマンス指標を著しく誇張していることを示している。
• 手動による誤り分析により、文法的誤り（例：誤った語順、代名詞の誤用）と意味的誤り（例：部分的または関係のない翻訳）が主な失敗要因であることが判明した。
• パフォーマンスのギャップが存在するにもかかわらず、変換器ベースのモデル（例：mBART）は広く採用され、大多数の上位パフォーマンスシステムの核となった。