[論文レビュー] Swiss Parliaments Corpus, an Automatically Aligned Swiss German Speech to Standard German Text Corpus

Michel Plüss, Lukas Neukom+2 more|arXiv (Cornell University)|Oct 6, 2020

Natural Language Processing Techniques参考文献 20被引用数 8

ひとこと要約

本論文では、スイスドイツ語の音声と標準ドイツ語の翻訳文をペアリングした293時間にのぼる自動アラインメント済みの音声対テキストコーパス、『スイス議会コーパス（SPC）』を紹介する。著者らは、IoUに基づく品質推定器を用いた新規の強制文アラインメント手法を用い、微調整されたConformer ASRモデルで語彙誤り率（WER）0.278、BLEUスコア0.586を達成した。これにより、低リソースなスイスドイツ語方言向けに高品質なエンドツーエンドASRが実現可能となった。

ABSTRACT

We present the Swiss Parliaments Corpus (SPC), an automatically aligned Swiss German speech to Standard German text corpus. This first version of the corpus is based on publicly available data of the Bernese cantonal parliament and consists of 293 hours of data. It was created using a novel forced sentence alignment procedure and an alignment quality estimator, which can be used to trade off corpus size and quality. We trained Automatic Speech Recognition (ASR) models as baselines on different subsets of the data and achieved a Word Error Rate (WER) of 0.278 and a BLEU score of 0.586 on the SPC test set. The corpus is freely available for download.

研究の動機と目的

• スイスドイツ語自動音声認識（ASR）のための、大規模かつ高品質な学習データの不足を解消するため、公開可能で自動アラインメント済みのコーパスを構築すること。
• スイスドイツ語と標準ドイツ語の間で生じる文の順序の入れ替えなどの言語的不一致に対処できる強制文アラインメント手順を開発すること。
• エンドツーエンドASRモデルがスイスドイツ語の音声から学び、正確な標準ドイツ語のテキスト翻訳を出力できるようにすること。
• 今後の低リソースなスイスドイツ語方言向け音声対テキスト翻訳研究のベンチマークを提供すること。
• IoUに基づく推定器によるデータフィルタリングがモデル性能およびコーパス品質に与える影響を調査すること。

提案手法

• コーパスは、ベルン州議会の公的公開録音および翻訳文から構築され、合計293時間の音声を含む。
• 事前学習済み標準ドイツ語ASRモデルを用いて音声を単語レベルのタイムスタンプ付きで発話する、新規の強制文アラインメントパイプラインを採用。
• ネイディマン＝ウィンシュ方式によるグローバルアラインメントにより、ASR出力の発話と手書きの標準ドイツ語発話の間を文単位でマッピング。
• 学習済みのIoU（共通部分率）推定器を用いて低品質アラインメントをフィルタリングし、コーパスのサイズと品質のトレードオフを制御可能にした。
• アラインメントプロセスには、spaCyを用いた文分割と、ASR出力の単語レベルタイムスタンプを用いた時間マッピングが含まれる。
• フィルタリングされたコーパスサブセットを用いて、データ拡張と共通CTC/CE損失を組み合わせた、ベースラインASRモデル（TransformerおよびConformer）を訓練。

実験結果

リサーチクエスチョン

• RQ1 強制文アラインメント手順は、スイスドイツ語と標準ドイツ語の間で生じる語順の変更などの言語的不一致を効果的に処理できるか？
• RQ2 IoUに基づくフィルタリング機構は、自動アラインメント済み音声対テキストコーパスにおける品質対サイズのトレードオフをどのように改善するか？
• RQ3 低リソースなスイスドイツ語音声対標準ドイツ語コーパスを用いて、エンドツーエンドASRモデルがどの程度の性能を達成できるか？
• RQ4 語彙誤り率（WER）とBLEUスコアは、この音声対テキスト翻訳設定においてどの程度相関しているか？
• RQ5 訓練済みのASRモデルを用いて、自己改善型パイプラインにおいてアラインメントプロセスを段階的に改善できるか？

主な発見

• 最良の性能を示したConformer ASRモデルは、SPCテストセットで語彙誤り率（WER）0.278、BLEUスコア0.586を達成した。
• すべてのデータ分割において、ConformerモデルはTransformerモデルを上回った。これは、本設定における低リソース環境に適していることを示している。
• IoU推定器によるデータフィルタリングにより、70%のデータで学習が可能となり、性能の低下は最小限に抑えられた。これにより、精度を損なわず高速な学習が可能になった。
• WERとBLEUスコアは負の相関を示し、両指標がこの音声対テキストタスクの評価において信頼的で補完的であることが示された。
• コーパスは自由にダウンロード可能であり、今後のスイスドイツ語ASRおよび音声翻訳研究の基盤的リソースとして機能する。