[論文レビュー] Unsupervised Speech Recognition via Segmental Empirical Output Distribution Matching

Chih‐Kuan Yeh, Jianshu Chen+2 more|arXiv (Cornell University)|Dec 22, 2018

Speech Recognition and Synthesis被引用数 26

ひとこと要約

本稿では、新しいセグメンタル実測出力分布マッチング（SE-ODM）損失を用いて音素分類器を訓練し、近似的MAP法により音素境界を精緻化するという、交互に繰り返す手法を採用する完全に自己教師あり音声認識システムを提案する。この手法は、ラベルなしデータでのTIMITベンチマークで41.6%の音素誤り率（PER）を達成し、オラクル境界を用いると32.5%のPERにまで低下する。これは、同じアーキテクチャを用いた教師あり学習に近い性能を示しており、自己教師ありASRの強力な可能性を示している。

ABSTRACT

We consider the problem of training speech recognition systems without using any labeled data, under the assumption that the learner can only access to the input utterances and a phoneme language model estimated from a non-overlapping corpus. We propose a fully unsupervised learning algorithm that alternates between solving two sub-problems: (i) learn a phoneme classifier for a given set of phoneme segmentation boundaries, and (ii) refining the phoneme boundaries based on a given classifier. To solve the first sub-problem, we introduce a novel unsupervised cost function named Segmental Empirical Output Distribution Matching, which generalizes the work in (Liu et al., 2017) to segmental structures. For the second sub-problem, we develop an approximate MAP approach to refining the boundaries obtained from Wang et al. (2017). Experimental results on TIMIT dataset demonstrate the success of this fully unsupervised phoneme recognition system, which achieves a phone error rate (PER) of 41.6%. Although it is still far away from the state-of-the-art supervised systems, we show that with oracle boundaries and matching language model, the PER could be improved to 32.5%.This performance approaches the supervised system of the same model architecture, demonstrating the great potential of the proposed method.

研究の動機と目的

• ラベルなしデータや強制アライメントを一切必要としない完全に自己教師あり音声認識システムの開発。
• 音素が変動するフレーム長のシーケンスで構成され、境界が不明なセグメンタル構造の課題に対処すること。
• 分類器とセグメンテーション境界推定を同時に最適化することで、自己教師あり音素認識の性能を向上させること。
• 正確な境界が与えられた場合に自己教師ありモデルが教師ありモデルにどれほど近づけるかを実証すること。
• 実測出力分布マッチング（ODM）フレームワークを、順序付きモデリングにおけるセグメンタル構造へ一般化すること。

提案手法

• セグメンタル実測ODM（SE-ODM）を導入。これは、各セグメント内での予測出力を同一に保ち、セグメントレベルの出力分布を事前に訓練された音素言語モデルと一致させる、新しい自己教師あり損失関数である。
• クラスタリングや埋め込みベースのアプローチを避けるために、生の音響特徴を直接音素シーケンスにマップするニューラルネットワークを用いる。
• 現在の分類器に基づいて境界を精緻化するため、近似的MAP推論法を適用。境界初期化にはWangら（2017）のGRUベースのオートエンコーダを用いる。
• 分類器のSE-ODM訓練と境界精緻化を交互に繰り返すことで、両方のコンponentの段階的改善を可能にする。
• 自己教師あり設定において性能をさらに向上させるために、半教師ありHMM学習技術を適応する。
• 翻訳なしのテキストコーパスから事前訓練された音素言語モデルを用いることで、音声のトランスクリプションデータなしに言語モデルを実装可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全に自己教師あり音声認識システムを、ラベル付きフレームやトランスクリプションなしで訓練可能か？
• RQ2 音素が変動するフレーム長のシーケンスで構成されるセグメンタル構造が、境界アノテーションなしで効果的にモデル化可能か？
• RQ3 音声特徴と言語モデルしか利用できない状況で、SE-ODMのような新しい自己教師あり損失関数が分類器性能を向上できるか？
• RQ4 現在の分類器のみを用いて、自己教師ありで境界推定をどの程度改善できるか？
• RQ5 正確な音素境界が与えられた場合に、自己教師ありシステムの性能が教師ありシステムにどれほど近づくか？

主な発見

• 完全に自己教師ありシステムは、TIMIT音素認識ベンチマークで41.6%の音素誤り率（PER）を達成した。これは、オラクル境界なしでの完全に自己教師ありASRの最初の実証的成功である。
• オラクル音素セグメンテーション境界を用いる場合、PERは32.5%にまで低下し、同じモデルアーキテクチャを用いた教師ありシステムの性能に非常に近づいた。
• SE-ODM損失は、予測出力の分布を言語モデルと一致させるとともに、セグメント内での一貫性を強制することで、ラベルなしでの有効な学習を可能にした。
• 近似的MAPによる境界の反復的精緻化は、セグメンテーション精度を顕著に向上させ、全体の認識性能を向上させた。
• 本手法は強力な一般化可能性を示しており、ラベルのない他のシーケンス・ツー・シーケンスタスクへも応用可能である。
• 結果から、正確な境界推定と組み合わせることで自己教師ありASRが高精度を達成できることを検証した。今後の境界学習技術の向上により、教師ありシステムとの差を埋められると示唆された。