[論文レビュー] Completely Unsupervised Speech Recognition By A Generative Adversarial Network Harmonized With Iteratively Refined Hidden Markov Models

Kuan‐Yu Chen, Che-Ping Tsai+3 more|arXiv (Cornell University)|Apr 8, 2019

Speech Recognition and Synthesis参考文献 30被引用数 15

ひとこと要約

この論文は、教師なしの音声認識フレームワークを提案しており、生成的対抗ネットワーク（GAN）と繰り返し精錬される隠れマルコフモデル（HMM）を組み合わせ、ラベルなしの音声およびテキストデータから学習する。GANの生成器は、音声フレームを分類してセグメント単位でサンプリングすることで、発音記号列を生成する。判別器は、実際の列と生成された列を区別する。HMMは段階的にセグメンテーションを精錬し、TIMITデータセットで33.1%の発音誤り率（PER）を達成した。これは、先行する最良手法よりも相対的に8.5%低い値である。

ABSTRACT

Producing a large annotated speech corpus for training ASR systems remains difficult for more than 95% of languages all over the world which are low-resourced, but collecting a relatively big unlabeled data set for such languages is more achievable. This is why some initial effort have been reported on completely unsupervised speech recognition learned from unlabeled data only, although with relatively high error rates. In this paper, we develop a Generative Adversarial Network (GAN) to achieve this purpose, in which a Generator and a Discriminator learn from each other iteratively to improve the performance. We further use a set of Hidden Markov Models (HMMs) iteratively refined from the machine generated labels to work in harmony with the GAN. The initial experiments on TIMIT data set achieve an phone error rate of 33.1%, which is 8.5% lower than the previous state-of-the-art.

研究の動機と目的

• 低リソース言語の音声認識システム（ASR）の課題に対処し、純粋にラベルなしの音声およびテキストデータからの学習を可能にすること。
• オラクルまたは強制アライメント境界に依存する従来の教師なしASR手法の限界を克服すること。
• 教師なしの環境で、GANとHMMが相互に改善し合うような統合学習フレームワークを構築すること。
• 完全に教師なしの状態で、ラベルなしデータのみを用いて最先端の性能を達成すること。

提案手法

• 生成器にフレーム単位の発音記号分類器とセグメントベースのサンプリングプロセスを備えたGANアーキテクチャを採用し、音声特徴から発音記号列を生成する。
• 判別器は、テキスト文からの実際の発音記号列と、生成器から得られた列を区別するように学習する。
• 初期のセグメンテーション境界は、非教師あり手法（GAS）を用いて自動的に導出され、その後、生成器の出力に対して繰り返しHMMを訓練することで精錬される。
• 各イテレーションで、生成器が予測した発音記号列を用いてHMMを再訓練し、セグメンテーションの精度を向上させるとともに、GANにフィードバックを提供する。
• セグメント内での滑らかさを促進する新しいインラインセグメント損失を導入し、時間的整合性を向上させる。
• データ拡張および判別的特徴（例：LDA、MLLT）を用いることで、耐障害性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、ラベルなしデータが一切ない状況でも、競争力のある教師なし音声認識性能を達成できるか？
• RQ2 HMMによる繰り返し精錬が、教師なしASRにおけるセグメンテーションと発音記号列生成にどのように寄与するか？
• RQ3 GANとHMMの調和が、独立して使用した場合のGANやHMMと比較して、どれほど誤り率を低減するか？
• RQ4 強制アライメントなしに、一致する・一致しないテキスト-音声ペairに対して、提案手法が一般化可能か？

主な発見

• 提案されたGAN/HMMフレームワークは、一致しないケースにおいてTIMITデータセットで33.1%の発音誤り率（PER）を達成した。これは、先行する最良手法よりも相対的に8.5%低い値である。
• 3回のイテレーション後、一致するケースではPERが26.1%にまで低下し、4,000件のラベル付き発話で学習した教師ありHMMでさえも上回った。
• アブレーションスタディの結果、三音素HMM、LDA、MLLTの導入が性能向上に寄与したが、データ拡張やインラインセグメント損失を削除すると性能が劣化した。
• 生成器のDNNをRNNに置き換えた場合、性能が急激に低下した（FER: 75.5%、PER: 71.6%）、これはRNNがアライメント学習を損なう可能性があることを示唆している。
• 3回のイテレーションで収束し、一致する・一致しない両設定において、評価指標が一貫して向上した。
• 教師ありベースラインと比較すると、ラベル付きデータの15%しか利用しない状況でも、教師なしGAN/HMMアプローチは標準HMMシステムと同等の性能を達成した。