[論文レビュー] An Arabic-Hebrew parallel corpus of TED talks

Mauro Cettolo|arXiv (Cornell University)|Oct 3, 2016

Natural Language Processing Techniques参考文献 9被引用数 7

ひとこと要約

本稿では、約2,000本のTED講演の高品質なアラビア語-ヘブライ語並列コーパスを提示する。各言語に約350万トークン、22.5万対の対応文が含まれる。このコーパスは、英語を中間言語として用い、アラビア語およびヘブライ語の翻訳における分割と標点の不整合を是正することで、再構成された一貫性のある文に構築された。ベースラインMTの結果は、最先端のシステムと同等の性能を示しており、効果が裏付けられている。

ABSTRACT

We describe an Arabic-Hebrew parallel corpus of TED talks built upon WIT3, the Web inventory that repurposes the original content of the TED website in a way which is more convenient for MT researchers. The benchmark consists of about 2,000 talks, whose subtitles in Arabic and Hebrew have been accurately aligned and rearranged in sentences, for a total of about 3.5M tokens per language. Talks have been partitioned in train, development and test sets similarly in all respects to the MT tasks of the IWSLT 2016 evaluation campaign. In addition to describing the benchmark, we list the problems encountered in preparing it and the novel methods designed to solve them. Baseline MT results and some measures on sentence length are provided as an extrinsic evaluation of the quality of the benchmark.

研究の動機と目的

• 機械翻訳研究のための高品質で手作業で整備されたアラビア語-ヘブライ語並列コーパスの不足に対処すること。
• TED講演のアラビア語およびヘブライ語翻訳における字幕の分割と標点の不整合を是正すること。
• IWSLT 2016評価キャンペーンに準拠した、訓練・開発・テストの分割が整った標準化されたベンチマークを提供すること。
• 元の文境界を回復するために、英語を中間言語として用い、文レベルのアライメントを改善すること。
• 神経機械翻訳およびフレーズベースMTシステムのアラビア語-ヘブライ語方向の訓練および評価に役立つ信頼できるリソースを提供すること。

提案手法

• コーパスは、TED講演の英語、アラビア語、ヘブライ語の字幕をWIT 3のXMLリリースを用いて構築した。
• タイムスタンプを用いてキャプションレベルでアライメントをとった後、英語を中間言語として用い、完全な文に再構成した。
• 3つの文再構成手法を評価した：(1) 再構成なし（元のキャプション）、(2) 強い標点に基づく再構成（strngP）、(3) 英語の文構造を用いた中間言語に基づく再構成。
• 中間言語手法では、英語の字幕からの言語的手がかりを用いて、アラビア語およびヘブライ語の文分割を補正し、欠落または不整合な標点を是正した。
• 最終的なコーパスは、IWSLT 2016の分割に従い、訓練・開発・テストに分割された。これにより、既存のMTベンチマークと互換性が保たれた。
• 各手法の有効性を評価するため、文の長さとアライメント品質を測定した。中間言語手法は、より高い安定性と言語的妥当性を示した。

実験結果

リサーチクエスチョン

• RQ1 アラビア語およびヘブライ語のTED講演翻訳における不整合な字幕分割と標点をどのように是正することで、文レベルのアライメントを改善できるか？
• RQ2 英語を中間言語として用いることで、アラビア語-ヘブライ語並列コーパスにおける文再構成の品質と一貫性はどの程度向上するか？
• RQ3 文再構成手法の選択が、下流の機械翻訳システムの性能にどのように影響するか？
• RQ4 言語間の分割のずれによって生じる非同期な字幕が、MTモデルの訓練および評価に与える影響は何か？
• RQ5 最終的なベンチマークは、サイズ、品質、MT研究への適性の観点から、既存のアラビア語-ヘブライ語並列コーパスと比べてどのように差異を示すか？

主な発見

• 最終的なアラビア語-ヘブライ語並列コーパスには、約2,000本のTED講演、22.5万対の文ペア、言語ごとに350万トークンが含まれ、IWSLT 2016ベンチマークに準拠した訓練/開発/テスト分割がなされている。
• 中間言語に基づく文再構成手法は、分散が低く、100トークンを超える文の割合が0.7‰と、強力な標点手法（3.0–3.4‰）よりも顕著に少ないことを示し、より高い言語的品質を示している。
• 中間言語手法は、strngP手法と比較して、長大で扱いにくい文の数を4〜5倍まで削減し、NLPタスクにおける利用可能性を向上させた。
• このベンチマークで訓練されたベースラインMTシステムは、最先端のフレーズベースおよびニューラルMTシステムと同等のBLEUスコアを達成し、Google翻訳と同等の性能を示しており、コーパスの品質が裏付けられた。
• 翻訳者が英語のキャプション境界から逸脱した9％の講演で、中間言語に基づく再構成により、分割の問題が効果的に是正され、アライメントが回復された。
• このコーパスはwit3.fbk.eu/mt.php?release=2016-01-moreにて公開されており、アラビア語-ヘブライ語機械翻訳における再現可能な評価および訓練を可能にしている。