[論文レビュー] Improving Accent Identification and Accented Speech Recognition Under a Framework of Self-supervised Learning

Keqi Deng, Songjun Cao+1 more|arXiv (Cornell University)|Sep 15, 2021

Speech Recognition and Synthesis参考文献 30被引用数 4

ひとこと要約

本稿では、エンド・ツー・エンドなアクセント特定のための標準偏差制約損失（SDC損失）とフレームレベルのアクセント特徴を用いた自己教師あり学習フレームワークを提案する。この手法は、960時間のラベルなしLibriSpeechデータを用いた共同事前学習と微調整により、AESRC2020データセットでアクセントに依存しないベースラインと比較して相対的に6.5%のWER低減を達成し、顕著な性能向上を示している。

ABSTRACT

Recently, self-supervised pre-training has gained success in automatic speech recognition (ASR). However, considering the difference between speech accents in real scenarios, how to identify accents and use accent features to improve ASR is still challenging. In this paper, we employ the self-supervised pre-training method for both accent identification and accented speech recognition tasks. For the former task, a standard deviation constraint loss (SDC-loss) based end-to-end (E2E) architecture is proposed to identify accents under the same language. As for accented speech recognition task, we design an accent-dependent ASR system, which can utilize additional accent input features. Furthermore, we propose a frame-level accent feature, which is extracted based on the proposed accent identification model and can be dynamically adjusted. We pre-train our models using 960 hours unlabeled LibriSpeech dataset and fine-tune them on AESRC2020 speech dataset. The experimental results show that our proposed accent-dependent ASR system is significantly ahead of the AESRC2020 baseline and achieves $6.5\%$ relative word error rate (WER) reduction compared with our accent-independent ASR system.

研究の動機と目的

• 自動音声認識（ASR）システムにおけるアクセントに起因する音声のばらつきをモデル化する課題に対処すること。
• フレームレベルのアクセント予測の一貫性を強制することで過学習を回避する、新しい標準偏差制約損失（SDC損失）を用いた、過学習に強いエンド・ツー・エンドのアクセント特定モデルの開発。
• フレームレベルの自信に基づいて動的に重み付けされるフレームレベルのアクセント特徴を活用する、動的でアクセント依存のASRシステムの設計。
• 真のアクセントカテゴリが入手不可である低リソース環境でも、識別モデルから信頼性の高いアクセント特徴を生成することで、効果的なASRを可能にすること。
• 大規模なラベルなしデータを用いた自己教師あり事前学習が、アクセント特定およびアクセント付き音声認識の両方の性能向上にどのように寄与するかを実証すること。

提案手法

• フレームレベルのアクセント予測の一貫性を強制することで過学習を低減する、標準偏差制約損失（SDC損失）を提案する。
• 音声フレームごとにアクセントを予測し、平均プーリングにより予測を集約するエンド・ツー・エンド（E2E）アクセント特定モデルを設計する。
• アクセント識別モデルから得られるフレームレベルのアクセント特徴を導出し、フレームレベルの信頼度に基づいて動的に重み付けする。
• Transformerエンコーダーのアテンション機構にフレームレベルのアクセント特徴をバイアスとして挿入する、アクセント依存のASRシステムを開発する。
• 2段階の訓練戦略を採用する：まず、wav2vec 2.0を用いて960時間のラベルなしLibriSpeechデータで事前学習を行い、その後AESRC2020データセットで微調整する。
• 各フレームのアクセント特徴の重要性を学習された重み $ w_i $ で決定する重み付きアクセントバイアス機構を用い、動的適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 同一言語内において、新規のSDC損失を用いた自己教師ありフレームワークは、エンド・ツー・エンドのアクセント特定性能を向上させることができるか？
• RQ2 フレームレベルのアクセント特徴を組み込むことで、アクセント依存のASRシステムの性能はどのように向上するか？
• RQ3 真のアクセントラベルが入手不可な状況下で、自己教師あり事前学習モデルがどれほどアクセント付き音声認識の性能向上に寄与できるか？
• RQ4 ASRアーキテクチャ内でアクセント関連バイアスを最適に配置・形式化することで、WER低減を最大限にできるか？
• RQ5 フレームレベルのアクセント特徴の動的重み付けは、固定または均一なバイアス挿入と比較して、ASR性能にどのように影響するか？

主な発見

• 提案されたアクセント依存のASRシステムは、AESRC2020データセットでアクセントに依存しないベースラインと比較して、相対的に6.5%の語誤り率（WER）低減を達成した。
• フレームレベルのアクセント特徴を有するモデル（AR₅）は、真のアクセントラベルが提供されない状況下でも、全テストセットでWER 7.02%を達成し、真のラベルを備えたシステムの性能に近づいた。
• アブレーションスタディの結果、バイアスをCNN層とTransformer層の両方の後に挿入する配置が最良の性能を示し、それより前または後の挿入よりも優れた性能を発揮した。
• フレームレベルのアクセント特徴に動的重み $ w_i $ を用いることで、均一な重み付けよりも顕著に性能が向上し、AR₅がAR₇を上回ることでその有効性が裏付けられた。
• 4-gram言語モデルを搭載したモデルは、全テストセットで4.52%のWERを達成し、AESRC2020ベースラインと比較して相対的に36.1%のWER低減を達成した。
• SDC損失は、異なるアクセントカテゴリにおける一貫性ある性能とアブレーションスタディにおける頑健性によって、過学習の低減が有効に実現されていることが裏付けられた。