[論文レビュー] scb-mt-en-th-2020: A Large English-Thai Parallel Corpus

Lalita Lowphansirikul, Charin Polpanumas+2 more|arXiv (Cornell University)|Jul 7, 2020

Natural Language Processing Techniques参考文献 31被引用数 5

ひとこと要約

この論文は、ニュース、Wikipedia、SMS、政府文書、Webクロールデータなど多様なソースから収集された100万件を超える文脈対応の英語-タイ語並列コーパスである scb-mt-en-th-2020を紹介する。ユニバーサルセンテンスエンコーダーを用いたフィルタリングにより、Transformerベースのモデルを訓練した結果、タイ語→英語翻訳ではGoogle翻訳と同等の性能を示し、OPUSデータと組み合わせるとそれを上回り、IWSLT 2015ベンチマークで最先端の性能を達成した。

ABSTRACT

The primary objective of our work is to build a large-scale English-Thai dataset for machine translation. We construct an English-Thai machine translation dataset with over 1 million segment pairs, curated from various sources, namely news, Wikipedia articles, SMS messages, task-based dialogs, web-crawled data and government documents. Methodology for gathering data, building parallel texts and removing noisy sentence pairs are presented in a reproducible manner. We train machine translation models based on this dataset. Our models' performance are comparable to that of Google Translation API (as of May 2020) for Thai-English and outperform Google when the Open Parallel Corpus (OPUS) is included in the training data for both Thai-English and English-Thai translation. The dataset, pre-trained models, and source code to reproduce our work are available for public use.

研究の動機と目的

• 低リソース機械翻訳の文脈において、高品質で多様な英語-タイ語並列データの不足を解消すること。
• 異種のソースから大規模な英語-タイ語文対を収集・アライメント・フィルタリングする再現可能な手法を構築すること。
• 新規コーパスを用いてTransformerベースの機械翻訳モデルを訓練・評価し、Google翻訳などの商用APIと比較すること。
• 研究の再現性を支援するため、データセット、事前学習済みモデル、ソースコードを公開すること。
• ドメインの多様性と、低リソース翻訳環境におけるモデルの汎化性能への影響を調査すること。

提案手法

• ニュース、Wikipedia、SMS、タスクベースの対話、Webクロールコンテンツ、政府文書の6つのソースから、1,001,752件の英語-タイ語文対を収集した。
• タイ語の文区切りが公式に存在しないため、文境界を英語の文境界に準拠し、曖昧なケースは1つのセグメントとして扱った。
• コサイン類似度を用いたユニバーサルセンテンスエンコーダー埋め込みを適用し、アライメントがずれているか低品質なセグメント対をフィルタリングした。
• 重複除去、正規化、類似度しきい値に基づくフィルタリングを含む、段階的な前処理パイプラインを採用し、データ品質を確保した。
• scb-mt-en-th-2020およびOPUSコーパスを用いて、サブワードレベルおよびワードレベルのトークン化を適用したTransformerベースのシーケンス・トゥ・シーケンスモデルを訓練した。
• IWSLT 2015とOPUS、およびscb-mt-en-th-2020のテストセットに対して、SacreBLEU（大文字・小文字区別あり）とBLEU4を用いてモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 異種の低リソースデータソースから、大規模で多様性に富み、高品質な英語-タイ語並列コーパスをどのように構築できるか？
• RQ2 トレーニングデータにおけるドメインの多様性が、英語-タイ語およびタイ語-英語機械翻訳モデルの性能にどの程度影響を与えるか？
• RQ3 独自に収集したコーパスが、Google翻訳などの商用翻訳APIを上回るか、同等の性能を発揮できるか？
• RQ4 ユニバーサルセンテンスエンコーダーは、低リソース並列データにおけるノイズやアライメントのずれのある文対をどの程度効果的にフィルタリングできるか？
• RQ5 OPUSなどの既存データセットと組み合わせた場合、提案されたコーパスがエンドツーエンド翻訳タスクでどの程度の性能向上をもたらすか？

主な発見

• scb-mt-en-th-2020コーパスは、ニュース、政府文書、SMS、会話文など多様なドメインをカバーする1,001,752件の高品質な英語-タイ語文対を含む。
• scb-mt-en-th-2020コーパスのみで訓練されたモデルは、2020年5月時点のGoogle翻訳APIと同等の性能を、タイ語→英語翻訳のIWSLT 2015ベンチマークで達成した。
• OPUSとscb-mt-en-th-2020コーパスの両方をトレーニングデータに含めた場合、モデルはGoogle翻訳を上回り、タイ語→英語翻訳で0.24 BLEUポイント、英語→タイ語翻訳で0.53 BLEUポイントの向上を達成した。
• ドメイン特化型の性能に顕著な差が見られた：テストセットと同一ドメインで訓練されたモデル（例：SCB_1M on SCB_1M）は、異なるドメインで訓練されたモデル（例：SCB_1M on OPUS）に比べて4〜8倍高いBLEUスコアを達成した。
• ユニバーサルセンテンスエンコーダーによるフィルタリング手法は、ノイズの多いペアを効果的に削減したが、翻訳の適切さ（adequacy）の誤りを完全に排除することはできなかった。
• データセット、事前学習済みモデル、ソースコードの公開により、再現可能な研究が可能となり、特に低リソース機械翻訳分野におけるタイ語NLPの発展が促進された。