[論文レビュー] AISPEECH-SJTU accent identification system for the Accented English Speech Recognition Challenge

Houjun Huang, Xu Xiang+3 more|arXiv (Cornell University)|Feb 19, 2021

Speech Recognition and Synthesis参考文献 26被引用数 6

ひとこと要約

本論文では、Interspeech-2020 Accented English Speech Recognition Challengeで1位を獲得し、平均正答率83.63％を達成したAISPEECH-SJTUシステムを提示する。本研究では、アクセント識別にASRベースの音声後件確率グラム（PPG）特徴量を導入し、音声合成（TTS）を用いた新たなデータ拡張手法により多様なアクセントデータを合成し、テスト時データ拡張および階層的マルチ埋め込み統合を適用することで、限られた訓練データでも性能を向上させた。

ABSTRACT

This paper describes the AISpeech-SJTU system for the accent identification track of the Interspeech-2020 Accented English Speech Recognition Challenge. In this challenge track, only 160-hour accented English data collected from 8 countries and the auxiliary Librispeech dataset are provided for training. To build an accurate and robust accent identification system, we explore the whole system pipeline in detail. First, we introduce the ASR based phone posteriorgram (PPG) feature to accent identification and verify its efficacy. Then, a novel TTS based approach is carefully designed to augment the very limited accent training data for the first time. Finally, we propose the test time augmentation and embedding fusion schemes to further improve the system performance. Our final system is ranked first in the challenge and outperforms all the other participants by a large margin. The submitted system achieves 83.63\% average accuracy on the challenge evaluation data, ahead of the others by more than 10\% in absolute terms.

研究の動機と目的

• 160時間のアクセント付き英語データしか利用できない低リソース環境におけるアクセント識別の課題に対処すること。
• 補助的なLibrispeechデータセットを効果的に活用することで、モデルのロバスト性と一般化性能を向上させること。
• アクセントモデリングに特化した新たなデータ拡張技術を用いて、データ不足を克服すること。
• テスト時データ拡張および埋め込み統合戦略を用いて、システム性能を向上させること。

提案手法

• システムは、アクセント付きデータとLibrispeechデータを統合して訓練したASRモデルを用い、発話者に依存しない音声後件確率グラム（PPG）特徴量を抽出し、アクセント分類に用いる。
• 独自のTTSベースのデータ拡張手法により、話者、チャネル、テキストの多様性を含む多様なアクセントバリエーションを合成し、訓練データを豊かにした。
• テスト時データ拡張では、テスト発話の複数の摂動版を生成し、その予測結果を平均化することでロバスト性を向上させた。
• 階層的マルチ埋め込み統合モデルは、複数の訓練済みモデルからの埋め込みを統合し、最終的な分類性能を向上させた。
• ASR訓練時に従来のデータ拡張（ノイズ、リバーブ、時間歪み）を適用し、PPG特徴量の品質を向上させた。
• 最終的なシステムは、高性能な設定から初期化された複数のモデルの融合を採用し、最終的な分類器は統合された埋め込み上で端末からエンド・トゥ・エンドに訓練した。

実験結果

リサーチクエスチョン

• RQ1 ASRモデルから抽出した音声後件確率グラム（PPG）特徴量は、FBANKなどの従来の低レベル特徴量よりも、アクセント識別で優れた性能を示せるか？
• RQ2 TTSベースのデータ拡張は、低リソースなアクセント識別タスクにおいてどの程度性能を向上させられるか？
• RQ3 テスト時データ拡張は、未観測のテストデータに対する分散低減と一般化性能向上にどの程度効果的か？
• RQ4 階層的マルチ埋め込み統合モデルは、多様なモデル予測を統合することで、さらなるシステム正答率の向上が可能か？

主な発見

• PPG特徴量を用いたシステムは、開発セットにおいてコンテストベースライン比で15.03%の絶対的向上を達成し、タスク固有の発話者に依存しない特徴量の優位性を示した。
• TTSベースのデータ拡張により、異なる設定下で2.15%～4.17%の正答率向上が得られ、モデルのロバスト性が顕著に向上した。
• テスト時データ拡張はわずかではあるが一貫した性能向上をもたらし、予測分散低減における価値を確認した。
• 最終システムは評価セットで83.63%の平均正答率を達成し、1位を獲得。2位チームより11.23ポイントも優れた性能を示した。
• ベースラインと比較して、開発セットと評価セットの間の性能差が小さく抑えられ、一般化性能の向上が示された。
• t-SNE可視化の結果、インド（IND）アクセントは良好に分離されている一方、アメリカ（US）アクセントは他のアクセントと強く重複しており、USアクセントの識別精度が低い理由が明らかになった。