[論文レビュー] Accented Speech Recognition: A Survey

Arthur Hinsvark, Natalie Delworth+10 more|arXiv (Cornell University)|Apr 21, 2021

Speech Recognition and Synthesis参考文献 38被引用数 15

ひとこと要約

このサーベイは、アクセントに強い自動音声認識（ASR）の最先端的手法をレビューし、多タスク学習、アクセント特徴工学、モデル適応を焦点に、さまざまなアクセント間での一般化を向上させることを目的としている。データの枯渇、標準ベンチマークの欠如、未学習のアクセントでの性能の悪さといった主な課題を特定するとともに、単一モデルの一般化性能の向上や、アクセント埋め込みや敵対的訓練といった技術の進展を強調している。

ABSTRACT

Automatic Speech Recognition (ASR) systems generalize poorly on accented speech. The phonetic and linguistic variability of accents present hard challenges for ASR systems today in both data collection and modeling strategies. The resulting bias in ASR performance across accents comes at a cost to both users and providers of ASR. We present a survey of current promising approaches to accented speech recognition and highlight the key challenges in the space. Approaches mostly focus on single model generalization and accent feature engineering. Among the challenges, lack of a standard benchmark makes research and comparison especially difficult.

研究の動機と目的

• 発音的・言語的変動による、アクセント付き音声におけるASRシステムの一般化性能の低さを解決すること。
• 標準ベンチマークの欠如とデータの枯渇が、アクセント付き音声認識研究の進展を妨げる主な障壁であることを特定すること。
• 多タスク学習、特徴工学、モデル適応などの技術を用いて、アクセント間でのモデル一般化性能を向上させることの検討。
• 未学習のアクセントへのゼロショット適応の可能性と、現在の手法が数100の方言にスケーラブルに適用可能かどうかを調査すること。
• 英語中心のアクセントに強い手法が、高頻度の方言変異を示す他の言語へも転送可能かどうかを検討すること。

提案手法

• アクセント分類を補助タスクとして用いた多タスク学習を採用し、さまざまなアクセント間でのモデル一般化を向上させること。
• エンドツーエンドのASRモデルにアクセント埋め込みと特別なアクセントトークンを統合し、アクセントの変動を明示的にモデル化すること。
• 敵対的訓練と特徴抽出を用いて、アクセントに依存しない表現を学習すること。
• 速度変更などのデータ拡張技術を適用し、低リソースアクセントのデータ効率を向上させること。
• 商用ASRモデルとアクセントチューニング済みローカルモデルを組み合わせたハイブリッドシステム（FineMerge）を実装し、WERを低減すること。
• 半教師ありおよび自己教師あり学習を活用し、トランスクリプト付きアクセントデータが限られる状況でも性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 アクセント分類を補助タスクとして用いた多タスク学習は、アクセント付き音声認識における一般化性能をどの程度向上させるか？
• RQ2 エンドツーエンドモデルに特別なアクセントトークンを挿入することで、多様なアクセント間での耐性がどの程度向上するか？
• RQ3 現在のアプローチには、未学習または低リソースのアクセントを処理するうえでの限界があるか？
• RQ4 データの枯渇と標準ベンチマークの欠如は、アクセント付き音声認識研究の進展をどの程度妨げているか？
• RQ5 アクセントに依存しない表現やメタラーニングを用いることで、新しいアクセントへの有効なゼロショット適応が可能になるか？

主な発見

• アクセント分類を補助タスクとして用いた多タスク学習は、特にネットワークの初期層をアクセント情報に利用することで、モデルの一般化性能を向上させる。
• エンドツーエンドモデルのトランスクリプトシーケンスの末尾に特別なアクセントトークンを挿入することで、トレードオフハイパーパrameterのチューニングよりも優れた性能が得られる。
• アクセント埋め込みと多タスク学習を組み合わせたアプローチが、特徴工学的手法の中で最高の性能を示した。
• FineMergeアルゴリズムは、商用ASRモデルとアクセントチューニング済みローカルモデルを組み合わせることで、WERを相対的に17–28％低減した。
• 現在のベンチマークは著しく不均衡であり、アメリカ英語、インド英語、イギリス英語の代表が強く、グローバルな一般化を制限している。
• 未学習のアクセントへのゼロショット適応を完全に解決できる手法は現時点で存在せず、分野における重要な未解決課題であることが浮き彫りになった。