[論文レビュー] AccentDB: A Database of Non-Native English Accents to Assist Neural Speech Recognition

Afroz Ahamad, Ankit Anand+1 more|arXiv (Cornell University)|May 16, 2020

Speech Recognition and Synthesis参考文献 7被引用数 9

ひとこと要約

AccentDB は、神経音声認識の性能を向上させるために、非ネイティブなインディアン英語アクセントを収集したデータベースを提供する。このデータベースは、自己符号化器モデルを用いてアクセント分類とアクセント中立化を可能にし、非ネイティブなアクセントをネイティブなアクセントに変換する際、95%を超える正確性を達成しており、非ネイティブな発話におけるASRの耐性を顕著に向上させる。

ABSTRACT

Modern Automatic Speech Recognition (ASR) technology has evolved to identify the speech spoken by native speakers of a language very well. However, identification of the speech spoken by non-native speakers continues to be a major challenge for it. In this work, we first spell out the key requirements for creating a well-curated database of speech samples in non-native accents for training and testing robust ASR systems. We then introduce AccentDB, one such database that contains samples of 4 Indian-English accents collected by us, and a compilation of samples from 4 native-English, and a metropolitan Indian-English accent. We also present an analysis on separability of the collected accent data. Further, we present several accent classification models and evaluate them thoroughly against human-labelled accent classes. We test the generalization of our classifier models in a variety of setups of seen and unseen data. Finally, we introduce the task of accent neutralization of non-native accents to native accents using autoencoder models with task-specific architectures. Thus, our work aims to aid ASR systems at every stage of development with a database for training, classification models for feature augmentation, and neutralization systems for acoustic transformations of non-native accents of English.

研究の動機と目的

• 自動音声認識（ASR）における非ネイティブ英語アクセントの課題に対処し、現実世界の応用における性能を制限している要因を解消すること。
• トレーニングと評価のための、非ネイティブなインド英語アクセントとネイティブアクセントをペアにした、洗練された並列データベースを構築すること。
• 既知のアクセントクラスと未知のアクセントクラスの両方に対して一般化可能なアクセント分類モデルを設計・評価すること。
• タスク固有の自己符号化器アーキテクチャを用いて、非ネイティブアクセントをネイティブに近い発話に変換するアクセント中立化フレームワークを導入すること。
• データ拡張、アクセント同定、音響変換を統合することで、エンドツーエンドのASRシステムの改善を実現すること。

提案手法

• 標準化されたコンテンツと均一な録音条件のもと、4つのインド英語アクセントと5つのネイティブ英語アクセント（メトロポリタン・インディアン英語を含む）を並列データベース AccentDB に収集した。
• 段階的なアプローチを設計した：(1) MFCC特徴量を用いた畳み込みニューラルネットワーク（CNN）によるアクセント分類、(2) 解釈可能性を高めるためのアテンションベース分析、(3) スキップ接続を備えた自己符号化器を用いたアクセント中立化。
• 入力MFCCにワンホットエンコードされたターゲットアクセントラベルをプレフィックスとして付加することで、複数のアクセントペアを統合的に学習可能な、マルチソース・マルチターゲットのアクセント中立化モデルを実装した。
• スケジュール付き接続を備えた畳み込みおよびLSTM自己符号化器を訓練し、層間でターゲットアクセント情報を効果的に保持することで、特徴レベルの変換を効果的に実現した。
• ターゲットアクセントラベルを入力の条件変数として統合することで、ゼロショットに近い設定を実現し、1つのモデルが複数のソース・ターゲットアクセント組み合わせを処理できるようにした。
• 分類精度と再構成忠実度を指標に、ペアワイズおよびマルチアクセント設定におけるアブレーション実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 洗練された並列データベースとしての非ネイティブおよびネイティブ英語アクセントが、神経系ASRシステムの耐障害性を向上させることができるか？
• RQ2 アクセント分類モデルは、既知の非ネイティブアクセントと未知の非ネイティブアクセントの両方に対して、どの程度一般化できるか？
• RQ3 自己符号化器ベースのモデルは、意味的内容を保持したまま、非ネイティブアクセントをネイティブに近い発話にどの程度中立化できるか？
• RQ4 ターゲットアクセントラベルを条件変数として用いることで、1つの統合モデルがマルチソース・マルチターゲットのアクセント中立化を実行できるか？
• RQ5 分類モデルにおけるアテンション機構は、アクセント固有の音響的特徴をどのように反映しているか？

主な発見

• AccentDB データベースは、多様なインド英語アクセントを的確に捉え、アクセントに配慮したASRシステムの高品質なトレーニングと評価を可能にした。
• アクセント分類モデルは、ペアワイズの中立化タスクにおいて95%を超える正確性を達成し、特にウェールズ語アクセントで97.27%、オーディア語アクセントで93.11%の最高精度を記録した。
• 自己符号化器ベースのアクセント中立化モデルは、全8つの実験において非ネイティブアクセントをネイティブアクセントに変換する際、95%を超える分類精度を達成した。
• 逆方向（ネイティブ→非ネイティブ）でも85%を超える正確性を達成しており、双方向変換の能力を示した。
• ラベル条件付き入力を用いたマルチソース・マルチターゲットの中立化モデルは、LSTM自己符号化器とスキップ接続を組み合わせた場合、70.08%の正確性を示し、有望な結果を得た。
• アテンションの可視化により、アクセント固有の音韻的特徴と整合する意味のあるフレームレベルのアテンションパターンが確認され、モデルの解釈可能性を裏付けた。