[論文レビュー] The Perceptimatic English Benchmark for Speech Perception Models

Juliette Millet, Ewan Dunbar|arXiv (Cornell University)|May 7, 2020

Speech Recognition and Synthesis参考文献 23被引用数 7

ひとこと要約

Perceptimatic English Benchmark (PEB) は、LibriVox から得た自然な発話スニペットを用いた ABX 辞書的識別タスクから構成されるオープンで生態的妥当性のあるデータセットであり、人間の発話認識の計算モデルを評価することを目的としている。このデータセットは、DeepSpeech などの標準的な英語音声認識モデルが、多言語モデルや短時間音響イベントモデルほど人間の認識を予測する能力に劣ることを示しており、英語音素識別に過剰に特化している可能性を示唆している。

ABSTRACT

We present the Perceptimatic English Benchmark, an open experimental benchmark for evaluating quantitative models of speech perception in English. The benchmark consists of ABX stimuli along with the responses of 91 American English-speaking listeners. The stimuli test discrimination of a large number of English and French phonemic contrasts. They are extracted directly from corpora of read speech, making them appropriate for evaluating statistical acoustic models (such as those used in automatic speech recognition) trained on typical speech data sets. We show that phone discrimination is correlated with several types of models, and give recommendations for researchers seeking easily calculated norms of acoustic distance on experimental stimuli. We show that DeepSpeech, a standard English speech recognizer, is more specialized on English phoneme discrimination than English listeners, and is poorly correlated with their behaviour, even though it yields a low error on the decision task given to humans.

研究の動機と目的

• 実際の連続発話に基づいて、人間の発話認識の計算モデルを評価するためのオープンで生態的妥当性のあるベンチマークを開発すること。
• 特に自動音声認識用に訓練されたモデルの、人間の認識データに対する予測力の評価。
• 母語話者および非母語話者間の音素対比において、人間の識別行動をよりよく予測できるモデルアーキテクチャの特定。
• 自然な発話コーパスから抽出された知覚的に関連する刺激を用いた、モデル間の標準化されたオープンアクセスリソースの提供。
• 人間の知覚的性能と相関する、簡単に計算可能な音響的距離メトリクスの推奨。

提案手法

• ベンチマークは、聴取者が2つの基準刺激（A または B）のどちらがプローブ（X）により似ているかを判断する ABX 辞書的識別タスクを用いる。A と B の間で唯一中央の音素が異なっている。
• 刺激は、LibriVox コーパスの連続発話から連続する3音素のシーケンスとして抽出され、自然な抑揚と文脈を保証する。
• A と B は同じ話者によって発話され、話者差の影響を排除する。一方、X は別の話者によって発話され、音声的コンテンツに注目する。
• 5202組のトリプレットが、461 種類の異なる音素対比（212 種類の英語、249 種類のフランス語）を含み、アロフォンの変動を最小限に抑えるために音声的文脈を制御している。
• 音響的距離メトリクスは、DeepSpeech、多言語モデル、DPGMM を用いた短時間音響イベントモデルを含む複数のモデルを用いて計算されている。
• 人間のパフォーマンスは聴取者間の平均正答率として測定され、モデルの予測とこの基準との相関を計算することで、予測妥当性を評価している。

実験結果

リサーチクエスチョン

• RQ1 標準的な自動音声認識モデルは、音素識別タスクにおける人間のパフォーマンスをどの程度正しく予測できるか？
• RQ2 英語以外の言語の音声で訓練されたモデル、または短時間音響イベントで訓練されたモデルは、英語音素認識に最適化されたモデルよりも、人間の認識をどれほどよく予測できるか？
• RQ3 異なるモデルが推定する知覚的距離は、ABX タスクにおける人間の正答率とどの程度相関するか？
• RQ4 自然な連続発話の刺激を用いることで、孤立語彙リストの刺激に比べて、モデルの評価がより生態的妥当性を持つようになるか？
• RQ5 モデルから簡単に計算できる音響的距離メトリクスは、人間の知覚的識別を信頼できる代理指標として用いることができるか？

主な発見

• DeepSpeech は、意思決定タスクで低誤差を達成しているものの、特に英語以外の対比において、人間の聴取者のパフォーマンスと相関が低く、予測能力に劣っている。
• 多言語モデルと DPGMM を用いた短時間音響イベントモデルは、DeepSpeech よりも人間の認識をよく予測しており、英語音素に過剰に特化していない可能性を示唆している。
• DeepSpeech の識別能スコアには明確な分離が見られる：英語対比では高いが、フランス語対比では低い。これは母語言語に過剰に適合している可能性を示している。
• 人間の聴取者はフランス語対比においてパフォーマンスがわずかに低下するにとどまり、このタスクでは音声的詳細に依存している可能性がある。
• PEB データセットは、自然な発話を用いて広範な音素対比を体系的に評価する最初のオープンベンチマークであり、計算モデルとの直接比較を可能にしている。
• 本研究では、人間の行動と強い相関を示すため、多言語モデルを、知覚的距離の信頼できる即時代替として推奨している。