[論文レビュー] Dialectal Speech Recognition and Translation of Swiss German Speech to Standard German Text: Microsoft's Submission to SwissText 2021

Yuriy Arabskyy, Aashish Agarwal+2 more|arXiv (Cornell University)|Jun 15, 2021

Speech Recognition and Synthesis参考文献 20被引用数 5

ひとこと要約

この論文は、スイスドイツ語の音声からテキストへの翻訳を目的としたSwissText 2021共同タスクでMicrosoftが受賞した手法を提示している。このシステムは、スイスドイツ語の発音を直接標準ドイツ語の翻訳にマッピングする辞書を備えたハイブリッドASRシステムと、高ドイツ語のASRモデルからの転移学習、独自の第一段階言語モデル（方言特有の語彙形態を考慮）および第二段階の神経的再スコアリングを組み合わせている。盲検テストセットで46.04%のBLEUを達成し、2番目に良いシステムより12%相対的に向上した。

ABSTRACT

This paper describes the winning approach in the Shared Task 3 at SwissText 2021 on Swiss German Speech to Standard German Text, a public competition on dialect recognition and translation. Swiss German refers to the multitude of Alemannic dialects spoken in the German-speaking parts of Switzerland. Swiss German differs significantly from standard German in pronunciation, word inventory and grammar. It is mostly incomprehensible to native German speakers. Moreover, it lacks a standardized written script. To solve the challenging task, we propose a hybrid automatic speech recognition system with a lexicon that incorporates translations, a 1st pass language model that deals with Swiss German particularities, a transfer-learned acoustic model and a strong neural language model for 2nd pass rescoring. Our submission reaches 46.04% BLEU on a blind conversational test set and outperforms the second best competitor by a 12% relative margin.

研究の動機と目的

• 低リソースのスイスドイツ語方言の認識と標準ドイツ語への翻訳の課題に対処すること。
• スイスドイツ語と標準ドイツ語との間の標準化された綴りの欠如、および顕著な音声的・語彙的・文法的相違を克服すること。
• 転移学習と構造化された言語モデルを用いて、低リソースの方言設定における自動音声認識性能を向上させること。
• 方言音声認識および翻訳の分野で最先端の結果を達成すること。

提案手法

• スイスドイツ語の発音を標準ドイツ語の翻訳にマッピングする辞書を備えたハイブリッド自動音声認識（ASR）システムで、合成語やクイック語（clitics）などの語彙形態現象を含む。
• スイスドイツ語の語の合成とクイック語現象を処理するために特別に設計された第一段階言語モデルで、結合語のペアを統合して訓練した。
• 10,000時間分の高ドイツ語ASR事前学習データセットから転移学習により微調整されたLC-BLSTM音声モデルで、160次元のコンテキスト連結を伴う80次元のログメルフィルタバンク特徴量を使用。
• 上位100件のASR仮説に対して再スコアリングを行う第二段階の神経的言語モデルで、翻訳の誤りを是正する強力なトランスフォーマー基盤のLMを用いる。
• 特に初期の学習段階で発音のあいまいさを低減するために、訓練中にスイスドイツ語の発音を表記に直した形（transliterated forms）を強制アラインメントに使用。
• 語のペアを統合し、未統合のLM部品と補間することで、'haben#wir'のようなクイック語を辞書および言語モデルに統合。

実験結果

リサーチクエスチョン

• RQ1 スイスドイツ語の語彙形態的複雑性（合成語やクイック語を含む）に対応できるように、ハイブリッドASRシステムをどのように適合させられるか？
• RQ2 高リソースの標準ドイツ語ASRモデルからの転移学習が、低リソースのスイスドイツ語音声認識性能をどの程度向上させられるか？
• RQ3 スイスドイツ語の語彙形態に特化した言語モデルは、標準言語モデルと比較して認識および翻訳品質を顕著に向上させられるか？
• RQ4 第二段階の神経的再スコアリングは、方言音声からテキストへのタスクにおいて翻訳の誤りを低減し、BLEUスコアを向上させるのにどの程度有効か？

主な発見

• システムは盲検会話テストセットで46.04%のBLEUを達成し、2番目に良い競合システムを12%相対的に上回った。
• 転移学習により、スイス議会データセットで訓練をゼロから行う場合と比較して、WERが8.4%低下し、BLEUが11.6%低下した。
• 内部のスイスドイツ語データ50時間分を追加することで、WERが2.3%低下し、BLEUが2.5%上昇した。
• 強力な神経的言語モデルを用いた第二段階再スコアリングにより、WERが5.8%低下し、BLEUが8.9%上昇した。
• アブレーションスタディの結果、各コンポーネント（転移学習、内部データ、再スコアリング）が最終性能に顕著に寄与していることが確認された。
• 完全なシステムの学習には約1200 GPU時間が必要で、25エポックにわたり8つのGPUが使用された。