[論文レビュー] SDS-200: A Swiss German Speech to Standard German Text Corpus

Michel Plüss, Manuela Hürlimann+11 more|arXiv (Cornell University)|May 19, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、公共のWeb録音ツールを用いて参加者が自らの現地のシュバリーエルト語（シュバリーエルト語）に翻訳し、録音した標準ドイツ語テキストの200時間にのぼる多言語対応スイスドイツ語音声対標準ドイツ語テキストコーパス「SDS-200」を紹介する。このコーパスには方言、年齢、性別のメタデータが付与されており、音声翻訳、方言認識、音声合成システムの学習を可能にする。XLS-Rモデルを微調整した結果、21.6のWERと64.0のBLEUスコアを達成し、ベースラインのTransformerモデルを著しく上回った。

ABSTRACT

We present SDS-200, a corpus of Swiss German dialectal speech with Standard German text translations, annotated with dialect, age, and gender information of the speakers. The dataset allows for training speech translation, dialect recognition, and speech synthesis systems, among others. The data was collected using a web recording tool that is open to the public. Each participant was given a text in Standard German and asked to translate it to their Swiss German dialect before recording it. To increase the corpus quality, recordings were validated by other participants. The data consists of 200 hours of speech by around 4000 different speakers and covers a large part of the Swiss-German dialect landscape. We release SDS-200 alongside a baseline speech translation model, which achieves a word error rate (WER) of 30.3 and a BLEU score of 53.1 on the SDS-200 test set. Furthermore, we use SDS-200 to fine-tune a pre-trained XLS-R model, achieving 21.6 WER and 64.0 BLEU.

研究の動機と目的

• 低リソースな方言向けに、公開可能で高品質な多言語対応のスイスドイツ語音声対テキストデータセットが不足している問題に対処すること。
• スイス全域の広範なスイスドイツ語方言をカバーする多様性に富んだ、公開可能なコーパスを構築すること。
• スイスドイツ語向けのエンドツーエンドの音声翻訳、方言認識、音声合成システムの開発を支援すること。
• 公開データ収集と自己教師あり事前学習を組み合わせることで、低リソースな音声対テキスト翻訳の性能を向上させること。
• 今後のバージョンでは、公的参加とゲーム化を活用してコーパスの規模と多様性を拡大すること。

提案手法

• 参加者がスイス全域から自由に参加可能な、Webベースの録音ツールを開発し、標準ドイツ語テキストのスイスドイツ語への翻訳音声を収集した。
• 参加者には、指定された標準ドイツ語文を自らの地域的スイスドイツ語方言で朗読するよう依頼し、言語的多様性と現実世界の方言差異を確保した。
• データ品質を保証し、転写と同期の誤りを低減するために、他の参加者による録音の検証を実施した。
• コーパスは音声とテキストの自動同期を含み、発話者の方言、年齢、性別のメタデータが付与された。
• ベースラインモデルは、FAIRSEQ S2Tライブラリを用いたTransformerベースのアーキテクチャで訓練され、ハイパーパrameterはデフォルト値に設定された。
• 436,000時間の多言語無教師音声データで事前学習されたXLS-R Wav2vecモデルを、SDS-200データセットで微調整し、自己教師あり事前学習の利点を評価した。

実験結果

リサーチクエスチョン

• RQ1 公開収集された、方言に富んだ音声対テキストコーパスは、スイスドイツ語音声翻訳の性能向上に寄与するか？
• RQ2 大規模な無教師音声データで自己教師あり事前学習を実施することで、スイスドイツ語の低リソース音声翻訳の性能はどのように向上するか？
• RQ3 SDS-200と既存のコーパス（例：SPC）を組み合わせることで、モデルの汎化性能と性能はどの程度向上するか？
• RQ4 SDS-200の方言カバレッジは、スイスのカントンにおける実際の言語的分布とどの程度一致しているか？
• RQ5 発話者の人口統計的多様性（年齢、性別、方言）は、音声翻訳におけるモデルの頑健性と汎化性能にどのような影響を与えるか？

主な発見

• ベースラインのTransformerモデルは、コーパスのみで学習した場合、SDS-200テストセットで30.3の語誤り率（WER）と53.1のBLEUスコアを達成した。
• XLS-R（0.3B）モデルをSDS-200で微調整した結果、WERは21.6に低下し、BLEUスコアは64.0に上昇した。これは、事前学習データにスイスドイツ語が含まれていなくても、自己教師あり事前学習の恩恵が得られることを示している。
• コーパスは広範なスイスドイツ語方言をカバーしており、ヴァリスやチューリッヒのカントンからの強い代表性があり、特定地域の個々の発話者からの寄与も顕著であった。
• コーパスには約3,816人の発話者から142,545件の発話が含まれており、参加者の86％は性別を明記しなかった。4名の参加者が非バイナリーと自己申告した。
• コーパスには138,553件の固有文と41,289語の語彙が含まれており、多様な文語的コンテンツと語彙・構文の広範なカバレッジをサポートしている。
• 本研究では、公開データ収集と検証メカニズムを組み合わせることで、低リソース言語向けに高品質でスケーラブルかつ言語的代表性を持つ音声リソースを構築できることを示した。