[論文レビュー] LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition

Benjamin Beilharz, Xin Sun+2 more|arXiv (Cornell University)|Oct 17, 2019

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本稿では、パブリックドメインのドイツ語オーディオブックから得た110時間のドイツ語音声、ドイツ語本文、および英語翻訳を含む大規模な並列コーパス、LibriVoxDeEnを紹介する。これにより、エンドツーエンドのドイツ語から英語への音声翻訳が可能になる。また、ドイツ語音声とテキストの547時間分のアライメントも提供される。手動評価により、音声-テキストおよびテキスト-テキストのアライメントが高品質であることが確認され、自動スコアのしきい値を用いることでアライメントの信頼性を調整可能である。

ABSTRACT

We present a corpus of sentence-aligned triples of German audio, German text, and English translation, based on German audiobooks. The speech translation data consist of 110 hours of audio material aligned to over 50k parallel sentences. An even larger dataset comprising 547 hours of German speech aligned to German text is available for speech recognition. The audio data is read speech and thus low in disfluencies. The quality of audio and sentence alignments has been checked by a manual evaluation, showing that speech alignment quality is in general very high. The sentence alignment quality is comparable to well-used parallel translation data and can be adjusted by cutoffs on the automatic alignment score. To our knowledge, this corpus is to date the largest resource for German speech recognition and for end-to-end German-to-English speech translation.

研究の動機と目的

• ドイツ語から英語への音声翻訳およびドイツ語音声認識のための大規模かつ高品質な並列コーパスの不足を解消すること。
• パイプラインシステムによる誤差伝搬を回避するエンドツーエンドニューラル音声翻訳を支援するリソースを提供すること。
• パブリックドメインのオーディオブックから読み上げられた音声を用いることで、最小限の不順応（disfluencies）を有するコーパスを作成すること。
• 自動化ツールと手動評価を通じて高品質なアライメントを確保し、アライメント信頼度スコアを用いた信頼性の高いフィルタリングを可能にすること。
• ドイツ語音声認識およびドイツ語から英語への音声翻訳の分野で、これまでに入手可能な最大のリソースを提供すること。

提案手法

• BeautifulSoup4およびScrapyを用いたウェブクローリングにより、LibriVox、Project Gutenberg、archive.orgからドイツ語オーディオブックおよび関連するパブリックドメインのテキストを収集した。
• 音声およびテキストデータを前処理し、ノイズ除去、プレフィックス/サフィックスのフィルタリング、およびspaCyを用いた文のセグメンテーションを実施した。
• aeneasを用いた強制アライメントにより音声-テキストアライメントを実行し、タイムスタンプに基づいてSoXを用いて音声を分割した。
• hunalignを用いてドイツ語-英語の文単位アライメントを生成し、辞書ベースのマッチングと文長ヒューリスティクスを用いた。
• hunalignの信頼度スコアを用いて文のペアをフィルタリングし、アライメント品質を向上させ、しきい値を用いたコーパスの精錬を可能にした。
• Krippendorff’s alphaを用いた手動評価により、アノテーター間の一貫性およびアライメント品質を評価した。

実験結果

リサーチクエスチョン

• RQ1 パブリックドメインのオーディオブックから、ドイツ語音声、ドイツ語本文、英語翻訳を含む大規模かつ高品質な並列コーパスを構築可能か？
• RQ2 自動アライメントツール（aeneas, hunalign）は、音声翻訳および音声認識の文脈で、信頼性の高い音声-テキストおよびテキスト-テキストアライメントを生成できるか？
• RQ3 アライメント信頼度スコア（例：hunalignスコア）を用いることで、並列文ペアの品質をフィルタリングおよび向上させられる程度はどの程度か？
• RQ4 本コーパスのアライメント品質は、音声翻訳および音声認識分野における既存のベンチマークと比較してどの程度か？
• RQ5 本コーパスは、エンドツーエンドの音声翻訳およびASRモデルのトレーニングに、より小さいまたはノイズの多いデータセットの代替として有効に使えるか？

主な発見

• 本コーパスには、110時間のドイツ語音声が、50,000組を超えるドイツ語本文と英語翻訳の並列文ペアにアライメントされており、エンドツーエンドのドイツ語から英語への音声翻訳分野で、これまでに入手可能な最大のリソースである。
• さらに、ドイツ語音声とテキストが547時間分アライメントされており、ドイツ語音声認識分野で、これまでに入手可能な最大のコーパスを形成している。
• 手動評価により、音声-テキストアライメントではほぼ完全なアノテーター間一貫性（Krippendorff’s α = 1.00）が確認され、テキスト-テキストアライメントでは高い一貫性（α = 0.77）が得られた。
• テキスト-テキストアライメントの品質は、hunalignの信頼度スコアと強く相関しており、しきい値によるフィルタリングが効果的に可能であることがわかった。
• 音声-テキストアライメントの品質は全体的に非常に高く、オーディオブックからの読み上げ音声を用いることで、不順応が最小限に抑えられていた。
• 本コーパスは、well-establishedな並列コーパスと同等のアライメント品質を示しており、堅牢なエンドツーエンドモデルのトレーニングに活用可能であることが示された。