[論文レビュー] Why has (reasonably accurate) Automatic Speech Recognition been so hard to achieve?

Steven Wegmann, Larry Gillick|arXiv (Cornell University)|Feb 28, 2010

Speech Recognition and Synthesis参考文献 14被引用数 4

ひとこと要約

この論文は、数十年にわたる進歩にもかかわらず自動音声認識（ASR）システムが依然として高い誤り率を示す理由を調査し、HMMモデルが音声フレーム間の統計的独立性を仮定していることが根本的な問題であると主張する。実際のテストデータをHMMのマルコフ仮定を満たすように再サンプリングすることで（対角ガウス出力仮定に違反しながら）、0.5%のWERを達成した。これは、データ依存の統計的依存性が、モデル構造ではなく誤りの主な原因であることを証明している。

ABSTRACT

Hidden Markov models (HMMs) have been successfully applied to automatic speech recognition for more than 35 years in spite of the fact that a key HMM assumption -- the statistical independence of frames -- is obviously violated by speech data. In fact, this data/model mismatch has inspired many attempts to modify or replace HMMs with alternative models that are better able to take into account the statistical dependence of frames. However it is fair to say that in 2010 the HMM is the consensus model of choice for speech recognition and that HMMs are at the heart of both commercially available products and contemporary research systems. In this paper we present a preliminary exploration aimed at understanding how speech data depart from HMMs and what effect this departure has on the accuracy of HMM-based speech recognition. Our analysis uses standard diagnostic tools from the field of statistics -- hypothesis testing, simulation and resampling -- which are rarely used in the field of speech recognition. Our main result, obtained by novel manipulations of real and resampled data, demonstrates that real data have statistical dependency and that this dependency is responsible for significant numbers of recognition errors. We also demonstrate, using simulation and resampling, that if we `remove' the statistical dependency from data, then the resulting recognition error rates become negligible. Taken together, these results suggest that a better understanding of the structure of the statistical dependency in speech data is a crucial first step towards improving HMM-based speech recognition.

研究の動機と目的

• HMMベースのASRシステムが、数十年にわたる洗練にもかかわらず依然として高い単語誤り率（WER）を示す理由を調査すること。
• HMMの対角ガウス出力モデルが誤りの主な原因であるという仮定に反論し、実際の音声データ内の統計的依存性が根本的原因であると提唱すること。
• 合成データ生成および再サンプリング技術を用いて、HMMの独立性仮定に違反する影響が認識性能に与える影響を評価すること。
• 実データがHMM仮定から逸脱していること——特にフレームごとの統計的依存性——が性能を著しく低下させることを示すこと。
• 将来のASR精度向上への道筋として、フレームおよび状態間のスコア相関のモデリングを基盤とする。

提案手法

• 訓練済みHMMからシミュレーションして擬似発話文を生成し、HMM仮定（フレーム独立性および対角ガウス出力）を厳密に満たすデータを作成した。
• WSJコーパスからの実際のテストデータを再サンプリングし、音声スコアの元の分布を保ちながら、HMMに適合するフレーム順序を強制することで、マルコフ仮定を満たすが対角ガウス出力仮定を満たさないデータを作成した。
• 認識性能の比較に、単語誤り率（WER）を主な指標として用いた。実データ、モデル仮定を満たすシミュレーテッドデータ、およびマルコフ仮定のみを満たす再サンプリングデータの認識性能を比較した。
• HMM状態からの音声スコアを分析し、隣接フレームおよび隣接状態間の相関を測定し、統計的依存性の強度を評価した。
• モデルの複雑さ（例：単一モード対10成分GMM）の違いによる影響を分離するため、異なるモデル複雑度での認識性能を比較した。
• 生の特徴に依存せずに、HMMスコア出力を一次元の代理指標として用い、その統計的性質とモデル仮定からの逸脱を研究した。

実験結果

リサーチクエスチョン

• RQ1 HMMのフレーム独立性仮定の違反が、実ASRシステムにおける高誤り率にどの程度寄与しているか？
• RQ2 実テストデータに対してHMMのマルコフ仮定を再サンプリングで強制することで、対角ガウス出力仮定に違反してもWERが顕著に低下するか？
• RQ3 隣接フレームおよび隣接状態間の音声スコア間にどの程度の統計的相関があるか？また、話者や発話モードによってその相関は変化するか？
• RQ4 最先端HMMシステムで観察される残留誤り率（約5%）は、主にデータ依存の統計的依存性に起因するものであり、モデルの限界によるものではないか？
• RQ5 判別的訓練（例：MMI）による性能向上は、モデル化されていないスコア相関の補償によるものではないか？

主な発見

• 実テストデータをHMMのマルコフ仮定に適合するように再サンプリングすることで、WERを18%から0.5%に低下させ、データ依存の統計的依存性が誤りの主要因であることを実証した。
• HMMモデルからシミュレートした擬似発話文の認識性能はWER 0.2%に達し、モデル仮定が満たされている場合にはモデルがほぼ完璧に機能することを確認した。
• 再サンプリングデータのWER（0.5%）は、完全にシミュレートされたデータ（0.2%）とほぼ同等であったため、対角ガウス出力仮定が主なボトルネックではないことが示された。
• 同じ状態からの隣接フレーム間の音声スコアに顕著な相関が認められ、驚くべきことに、隣接状態の先頭スコア間にもほぼ同等の相関が観察された。
• 話者効果は観察された統計的依存性にほとんど寄与しておらず、相関構造は話者固有の変動よりも発話生成ダイナミクスに関連していると考えられる。
• 最先端HMMシステムにおける残留5%誤り率は、HMMフレームワーク自体の欠陥ではなく、実音声データにおけるモデル化されていない統計的依存性に起因している可能性が高い。