[論文レビュー] Europarl-ST: A Multilingual Corpus For Speech Translation Of Parliamentary Debates

Javier Iranzo-Sánchez, Joan Albert Silvestre-Cerdà+6 more|arXiv (Cornell University)|Nov 8, 2019

Natural Language Processing Techniques参考文献 24被引用数 19

ひとこと要約

本論文では、2008–2012年の欧州議会会議録をもとに作成された、30の翻訳方向をカバーする6つのヨーロッパ言語で構成される、公開可能な多言語音声翻訳コーパスであるEuroparl-STを紹介する。スピーカー・ダイアライゼーションとCERに基づく音声認識品質管理を組み合わせた二段階のフィルタリングパイプラインに加え、強制音声アラインメントを適用することで、高品質なカスケードASR+MT実験が可能となり、ドメイン特化したMTモデルの微調整により最大+4.0 BLEUの向上が達成された。

ABSTRACT

Current research into spoken language translation (SLT),or speech-to-text translation, is often hampered by the lack of specific data resources for this task, as currently available SLT datasets are restricted to a limited set of language pairs. In this paper we present Europarl-ST, a novel multilingual SLT corpus containing paired audio-text samples for SLT from and into 6 European languages, for a total of 30 different translation directions. This corpus has been compiled using the debates held in the European Parliament in the period between 2008 and 2012. This paper describes the corpus creation process and presents a series of automatic speech recognition, machine translation and spoken language translation experiments that highlight the potential of this new resource. The corpus is released under a Creative Commons license and is freely accessible and downloadable.

研究の動機と目的

• 特に英語以外の言語をソース言語とする多言語音声翻訳（SLT）データセットの不足に対処すること。
• 既存のSLTコーパスがしばしば英語音声と他の言語への翻訳に限定されているという制限を克服すること。
• 再現可能で自己完結的かつ公開可能なリソースを提供し、多言語SLTおよびドメイン特化型ASR・MTの研究を支援すること。
• 本物の議会会議録に基づいて得られた一貫性があり高品質なデータセットを用いて、カスケード型およびエンドツーエンド型SLTシステムの評価と適応を可能にすること。
• ドイツ語、フランス語、スペイン語、イタリア語、ポルトガル語、英語を統合されたアラインメント済みコーパスとして含めることで、低リソース言語対における研究を促進すること。

提案手法

• メタデータへのアクセスのため、LinkedEPデータベースを用いて2008–2012年の欧州議会全体会議の生の音声および公式のトランスクリプト／翻訳を収集した。
• LIUM SpkDiarizationツールキットを用いてスピーカー・ダイアライゼーションを実施し、個々のスピーカーのセグメントを分離し、音声の重なりを低減した。
• TLKツールキットおよびFF-DNN音声モデルを用いて強制音声アラインメントを実行し、トランスクリプトから単語レベルのタイムスタンプを生成した。
• 文字誤り率（CER）に基づいて音声セグメントをフィルタリングし、言語固有のしきい値（De, Fr, Es 15%、En 20%）を適用して品質が低いまたはアラインメントが不正確な音声を除外した。
• 40KのBPEサブワード操作を用いてデータを前処理し、オフドメインおよびEuroparl-STで微調整したデータの両方を用いて、TransformerベースのNMTモデルを訓練した。
• 静音区間を用いたセグメンテーションとテストセットにおけるBLEUスコア評価を用いて、微調整されたMTモデルとASR出力を組み合わせたカスケードSLTシステムを評価した。

実験結果

リサーチクエスチョン

• RQ1 公開利用可能な議会会議録音声およびテキストデータから、高品質なアラインメントを達成した大規模な多言語SLTコーパスを構築できるか？
• RQ2 Europarl-STデータ上でドメイン特化型MTモデルを微調整することで、オフドメインモデルと比較してどの程度性能が向上するか？
• RQ3 CERに基づくフィルタリングと強制アラインメントは、SLT学習データの品質および利用可能性にどのような影響を与えるか？
• RQ4 同じASRおよびMTコンponentsを同じデータで使用する場合、MTモデルとカスケードSLTシステムの間にはどの程度の性能差が生じるか？
• RQ5 提案されたフィルタリングパイプラインは、リソースが限られた他の言語や音声翻訳タスクにも一般化可能か？

主な発見

• フィルタリング後の最終的なEuroparl-STコーパスには、ドイツ語で44時間、英語で120時間、スペイン語で34時間、フランス語で47時間の音声が含まれており、CER値は9.1%～12.9%の範囲に収まっている。
• Europarl-STデータ上でMTモデルを微調整することで、オフドメインモデルと比較して最大+4.0のBLEUスコア向上が達成され、特に低リソース方向（De→Es：+2.5 BLEU）で顕著な向上が見られた。
• カスケードSLTシステムは15.3～28.0のBLEUスコアを達成し、最高性能はEn→Es（28.0 BLEU）で、MTとSLTの性能順位の強い相関関係を示した。
• フィルタリングパイプラインにより初期の音声データが最大70%まで削減されたが、依然として訓練および評価に適した高品質なアラインメント済み音声・テキストペアを保持した。
• このコーパスは6つの言語（De, En, Es, Fr, It, Pt）を対象に30の翻訳方向をカバーしており、完全なアラインメントとメタデータを備えており、同種のものとして初めて公開可能な多言語SLTリソースである。
• 結果から、Europarl-ST上で訓練されたドメイン特化型MTモデルが一般ドメインモデルを著しく上回ることが確認され、ドメイン特化型微調整の価値が示された。