[論文レビュー] Unsupervised neural and Bayesian models for zero-resource speech processing

Herman Kamper|arXiv (Cornell University)|Jan 3, 2017

Speech Recognition and Synthesis参考文献 108被引用数 6

ひとこと要約

本学位論文は、ゼロリソース音声処理のためのハイブリッドなトップダウンおよびボトムアップアプローチを提案し、判別的フレームレベル表現学習のための対応オートエンコーダ（cAE）と、無教師語分離およびクラスタリングのためのセグメンタルベイジアンモデルを導入する。cAEは、発見された語から得られる弱いトップダウンの監視を活用し、フレームレベル表現学習において60%を超える相対的改善を達成する。一方、ベイジアンモデルは、数字認識タスクで約20%の語誤り率（WER）を達成し、大ボリューム語彙・マルチスケーラー音声データに適用された最初の完全カバレッジのシステムである。

ABSTRACT

In settings where only unlabelled speech data is available, zero-resource speech technology needs to be developed without transcriptions, pronunciation dictionaries, or language modelling text. There are two central problems in zero-resource speech processing: (i) finding frame-level feature representations which make it easier to discriminate between linguistic units (phones or words), and (ii) segmenting and clustering unlabelled speech into meaningful units. In this thesis, we argue that a combination of top-down and bottom-up modelling is advantageous in tackling these two problems. To address the problem of frame-level representation learning, we present the correspondence autoencoder (cAE), a neural network trained with weak top-down supervision from an unsupervised term discovery system. By combining this top-down supervision with unsupervised bottom-up initialization, the cAE yields much more discriminative features than previous approaches. We then present our unsupervised segmental Bayesian model that segments and clusters unlabelled speech into hypothesized words. By imposing a consistent top-down segmentation while also using bottom-up knowledge from detected syllable boundaries, our system outperforms several others on multi-speaker conversational English and Xitsonga speech data. Finally, we show that the clusters discovered by the segmental Bayesian model can be made less speaker- and gender-specific by using features from the cAE instead of traditional acoustic features. In summary, the different models and systems presented in this thesis show that both top-down and bottom-up modelling can improve representation learning, segmentation and clustering of unlabelled speech data.

研究の動機と目的

• 標本化されていない音声から直接言語的構造を発見する無教師手法を開発し、低リソース環境における音声技術を可能にすること。
• 判別的フレームレベル表現学習と標本化されていない音声の無教師分離／クラスタリングという二重の課題に取り組むこと。
• ゼロリソース音声処理におけるトップダウン（上位レベルの知識）とボトムアップ（低レベル特徴）モデリングの相乗効果を調査すること。
• 大ボリューム語彙・マルチスケーラー会話データへの無教師システムの拡張を図り、先行研究における大きなギャップを埋めること。
• ハイブリッド表現を用いて、発見された音声クラスタの話者および性別バイアスを低減すること。

提案手法

• 無教師語発見システムから得られる弱いトップダウンの監視を用いて、フレームレベル表現学習をガイドする、対応オートエンコーダ（cAE）を提案する。
• cAEは、大規模な標本化されていない音声データに対するボトムアップ事前学習によって初期化され、高 discriminative 特徴を学習可能となる。
• 独創的なセグメンタルベイジアンモデルは、可変長の語候補を固定次元の音声埋め込み空間に埋め込むことで、同時に分離とクラスタリングを実行する。
• モデルはギブスサンプラーを用いて、語境界とクラスタ割り当てを繰り返し改善しながら、音声語埋め込み関数を学習する。
• 大規模語彙へのスケーラビリティを確保するため、語境界の候補を絞るためのボトムアップ事前知識として、音節境界検出を用いる。
• cAE特徴を分離システムに統合することで、発見されたクラスタにおける話者および性別特異性を低減する。

実験結果

リサーチクエスチョン

• RQ1 発見された語から得られる弱いトップダウンの監視が、無教師フレームレベル表現学習を顕著に改善できるか？
• RQ2 固定次元の音声語埋め込みを用いて、無教師音声の同時分離とクラスタリングが可能か？
• RQ3 トップダウン分離とボトムアップ音節境界検出を組み合わせることで、大ボリューム語彙・マルチスケーラー音声データでの性能がどのように向上するか？
• RQ4 cAEからのハイブリッド表現が、無教師音声クラスタにおける話者および性別バイアスをどの程度低減できるか？
• RQ5 実世界データにおける無教師語誤り率とカバレッジの観点から、提案手法は最先端のシステムと比較してどの程度優れているか？

主な発見

• cAEは、従来の最先端手法と比較して、フレームレベル表現学習において60%を超える相対的改善を達成し、トップダウンの監視の有効性を示した。
• cAEは、標本化されていない音声に対するボトムアップ事前学習によって初期化されない限り、有用な表現を学習できなかった。これは、両学習モードの必要性を強調している。
• セグメンタルベイジアンモデルは、マルチスケーラー接続語数字認識タスクで約20%の語誤り率（WER）を達成し、以前のHMMベースのシステムと比較して約10%の絶対的改善を示した。
• 本研究は、大ボリューム語彙・マルチスケーラー会話音声データに適用された最初の完全カバレッジの無教師分離・クラスタリングシステムを提示した。
• cAE特徴を分離システムに統合することで、発見されたクラスタにおける話者および性別バイアスが低減され、クラスタ純度が向上した。
• トップダウン分離とボトムアップ音節境界検出を組み合わせることで、純粋なボトムアップ音節ベースのアプローチよりも性能が向上した。