[論文レビュー] LibriVoxDeEn - A Corpus for German-to-English Speech Translation and Speech Recognition

Benjamin Beilharz, Sun Xin|arXiv (Cornell University)|Jan 1, 2019

Natural Language Processing Techniques参考文献 10被引用数 13

ひとこと要約

LibriVoxDeEn は、100時間以上の音声、ドイツ語のテキスト、およびドイツ語の音声付きの英語翻訳を含む大規模かつ高品質なドイツ語から英語への音声翻訳コーパスです。エンド・ツー・エンドの音声翻訳と認識を可能にし、非常に高い文レベルのアライメント精度と低コストの不順応を実現しており、ドイツ語から英語へのタスクにおいて、これまでで最大のリソースです。

ABSTRACT

This dataset is a corpus of sentence-aligned triples of German audio, German text, and English translation, based on German audio books. The corpus consists of over 100 hours of audio material and over 50k parallel sentences. The speech data are low in disfluencies because of the audio book setup. The quality of audio and sentence alignments has been checked by a manual evaluation, showing that that speech alignment is in general very high. The sentence alignment quality is comparable to well-used parallel translation data and can be adjusted by cutoffs on the automatic alignment score. To our knowledge, this corpus is to date the largest resource for end-to-end speech translation for German.

研究の動機と目的

• ドイツ語から英語への音声翻訳および認識のための大規模かつ高品質な並列コーパスの構築を目的とする。
• 特にエンド・ツー・エンドの学習パラダイムにおいて、大規模で低不順応の音声翻訳データセットの不足を解消することを目的とする。
• 手動評価と自動スコアのしきい値を用いて、高い文アライメント精度を確保することを目的とする。
• エンド・ツー・エンドの音声翻訳モデルの訓練および評価に適したリソースを提供することを目的とする。
• オーディオブックから得られるクリアでアライメントされたデータを提供することで、多言語音声処理分野の研究を支援することを目的とする。

提案手法

• コーパスは、LibriVox から入手したパブリックドメインのドイツ語オーディオブックから構築されている。
• 音声、ドイツ語のテキスト、および英語の翻訳が、自動アライメントツールを用いて文単位でアライメントされ、その後手動での検証が行われた。
• 高品質な音声とアライメントを備えた、50,000組を超える並列文のトリプルが含まれている。
• オーディオブックの記録スタイルがフォーマルであるため、不順応の度合いが低く抑えられている。
• アライメント品質は手動評価により評価され、既存の標準的な並列テキストデータセットと同等の高い正確性が確認された。
• 自動アライメントスコアのしきい値を適用することで、低品質なアライメントをフィルタリングし、全体の信頼性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてオーディオブックから大規模かつ高品質なドイツ語から英語への音声翻訳コーパスを構築できるか？
• RQ2 オーディオブックに由来する音声品質の高さと低不順応性が、アライメント精度およびモデル性能にどの程度寄与するか？
• RQ3 このコーパスの文アライメント品質は、既存の標準的な並列テキストデータセットと比べてどうか？
• RQ4 このコーパスは、エンド・ツー・エンドの音声翻訳および認識モデルのための実用的ベンチマークとして機能できるか？
• RQ5 自動アライメントスコアのしきい値の設定が、最終的なデータセットの信頼性に与える影響は何か？

主な発見

• コーパスには、ドイツ語の音声が100時間以上、それに伴うドイツ語のテキストと英語の翻訳が含まれており、50,000組を超える文レベルでアライメントされたトリプルが形成されている。
• 手動評価により、文アライメントの品質が極めて高く、既に確立された並列テキストデータセットと同等の水準であることが確認された。
• オーディオブックのフォーマルな読み下ろしスタイルのおかげで、不順応が低く抑えられており、モデルの訓練に好影響を与える。
• このデータセットは、エンド・ツー・エンドのドイツ語から英語への音声翻訳において、これまでで最大のリソースである。
• 自動アライメントスコアは、しきい値を設定することで、データセットの信頼性と一貫性を向上させるのに効果的に利用できる。
• このコーパスは、エンド・ツー・エンドの音声翻訳および認識システムの訓練および評価に適している。