[論文レビュー] ParaCotta: Synthetic Multilingual Paraphrase Corpora from the Most Diverse Translation Sample Pair

Alham Fikri Aji, Tirana Noor Fatyanosa+7 more|arXiv (Cornell University)|May 10, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文では、単語の翻訳のみを用いて、神経機械翻訳（NMT）システムを用いて合成多言語並び替えコーパスを生成する手法ParaCottaを提案する。ビームサーチを用いて複数の翻訳を生成し、最低のBLEUスコア（語彙的多様性が最も高いことを示す）を持つペアを選択することで、17か国語で意味的に類似しているが語彙的に多様な並び替えペアを生成する。公開可能なデータセットをリリースし、人間による評価と意味的類似性においてベースライン手法を上回り、語彙的多様性を維持している。

ABSTRACT

We release our synthetic parallel paraphrase corpus across 17 languages: Arabic, Catalan, Czech, German, English, Spanish, Estonian, French, Hindi, Indonesian, Italian, Dutch, Romanian, Russian, Swedish, Vietnamese, and Chinese. Our method relies only on monolingual data and a neural machine translation system to generate paraphrases, hence simple to apply. We generate multiple translation samples using beam search and choose the most lexically diverse pair according to their sentence BLEU. We compare our generated corpus with the exttt{ParaBank2}. According to our evaluation, our synthetic paraphrase pairs are semantically similar and lexically diverse.

研究の動機と目的

• 英語以外の高品質な多言語並び替えコーパスの不足に応えるため、スケーラブルでリソースが限られた方法を提供すること。
• 並列双語コーパスを必要とせず、意味的に類似しているが語彙的に多様な並び替えペアを生成すること。
• 単語のデータと事前学習済みNMTシステムにのみ依存する方法を開発し、広範な言語カバレッジを実現すること。
• 17か国語にわたる公開可能な合成並び替えコーパスをリリースし、下流のNLPタスクに活用すること。
• 合成並び替え生成における語彙的多様性と意味的類似性のトレードオフを評価すること。

提案手法

• 事前学習済みの英語→ターゲット言語NMTモデルを用いて、ビームサーチで単語の英語文から複数の翻訳サンプルを生成する。
• 語彙的多様性を示す仮定に基づき、最低のBLEUスコアを持つ翻訳ペアを最終的な並び替えペアとして選択する。
• 並び替え生成の入力として、単語の英語コーパス（例：ParaBank2、Wikipedia、NewsCrawl、Tatoeba）を用いる。
• アラビア語、カタルーニャ語、チェコ語、ドイツ語、英語、スペイン語、エストニア語、フランス語、ヒンディー語、インドネシア語、イタリア語、オランダ語、ルーマニア語、ロシア語、スウェーデン語、ベトナム語、中国語の17か国語に対して同じ手法を適用する。
• 語彙的多様性と意味的類似性のバランスを取るために、BLEUスコアのしきい値（例：20–60 または 20–80）を用いて生成されたペアをフィルタリングする。
• 合成並び替えコーパス上でトランスフォーマー型seq2seqモデルを学習し、ラウンドトリップ機械翻訳などのベースライン手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 並列双語コーパスを必要とせず、単語のデータと事前学習済みNMTシステムのみを用いて、合成並び替えコーパスを効果的に生成できるか？
• RQ2 低BLEUスコアによる選択により、語彙的に多様で意味的に類似した並び替えペアが得られるか？
• RQ3 ParaBank2などの既存のベンチマークと比較して、合成並び替えコーパスの意味的類似性と語彙的多様性の質はどの程度か？
• RQ4 BLEUに基づくフィルタリングは、合成並び替えペアにおける意味的類似性と語彙的多様性のバランスをどの程度向上させるか？
• RQ5 提案手法は、リソースが限られた言語から高リソース言語まで、広範な言語で高品質な並び替えデータを生成できるか？

主な発見

• BLEU 20–80でフィルタリングした場合、インドネシア語データセットにおいて人間によるアノテーションで意味的類似性スコアが88.9を達成し、フィルタリングなしのParaCottaやラウンドトリップMTを上回った。
• フィルタリング済みのParaCottaコーパスは、意味的類似性（sBERTのコサイン類似度92.1）を維持しながら、BLEUスコア48.0を達成しており、強い語彙的多様性を示している。
• BLEUとジャカード係数で測定したところ、ParaBank2のものよりも顕著に多様な並び替えペアを生成しており、依然として高い意味的類似性を維持している。
• 低BLEUスコアと高い語彙的多様性との間に相関が観察され、選択プロセスにおいてBLEUを多様性の代理指標として用いる有効性が裏付けられた。
• 意味的類似性と語彙的多様性の両面で、ラウンドトリップ機械翻訳（意味的類似性スコア78.1）を上回った。
• リリースされたデータセットは17か国語をカバーしており、https://github.com/afaji/paracotta-paraphrase で公開されており、多言語NLPタスクにおける広範な活用が可能である。