[論文レビュー] Towards Unsupervised Automatic Speech Recognition Trained by Unaligned Speech and Text only

Yi-Chen Chen, Chia-Hao Shen+2 more|arXiv (Cornell University)|Mar 29, 2018

Speech Recognition and Synthesis参考文献 31被引用数 14

ひとこと要約

本稿では、自己教師あり事前学習とクロスモーダル埋め込みアライメントを用いて、アライメントのとられていない音声とテキストから単語レベルの音声表現を学習する3段階の教師なしASRフレームワークを提案する。系列から系列へのオートエンコーダーに敵対的訓練を組み合わせ、発音的および話者情報の分離を図り、音声上でスキップグラムモデルを用いて意味的埋め込みを学習し、MBC-ICPを用いてそれらをテキスト埋め込みにアライメントすることで、語の検索において60.68%のトップ10近傍正解率を達成した。これは、アライメントなしで教師なしASRが可能であることを示している。

ABSTRACT

Automatic speech recognition (ASR) has been widely researched with supervised approaches, while many low-resourced languages lack audio-text aligned data, and supervised methods cannot be applied on them. In this work, we propose a framework to achieve unsupervised ASR on a read English speech dataset, where audio and text are unaligned. In the first stage, each word-level audio segment in the utterances is represented by a vector representation extracted by a sequence-of-sequence autoencoder, in which phonetic information and speaker information are disentangled. Secondly, semantic embeddings of audio segments are trained from the vector representations using a skip-gram model. Last but not the least, an unsupervised method is utilized to transform semantic embeddings of audio segments to text embedding space, and finally the transformed embeddings are mapped to words. With the above framework, we are towards unsupervised ASR trained by unaligned text and speech only.

研究の動機と目的

• 音声-テキストのアライメントが利用できない低リソース環境における教師なし自動音声認識の実現を目的とする。
• 自己教師あり手法を用いて、アラインメントのとられていない音声とテキストから意味的および発音的表現を学習することを目的とする。
• ペairedデータが一切ない状態で、音声とテキストの埋め込み間の意味的ギャップを、それらの間の線形変換を学習することで埋める。
• 完全に教師なしのエンドツーエンドASRが、単にアラインメントのとられていない音声とテキストデータのみを用いても実現可能であるかを検証することを目的とする。

提案手法

• 敵対的訓練を組み合わせた系列から系列へのオートエンコーダーにより、単語レベルの音声セグメント内の発音的および話者情報を分離し、発音的埋め込みを生成する。
• 分離された発音的ベクトルからスキップグラムモデルを用いて意味的埋め込みを学習し、Word2Vecと同様のアプローチだが、音声表現に適用する。
• 未教師ありアライメント手法として、ミニバッチサイクル反復最近接点法（MBC-ICP）を用い、主成分分析とアフィン変換を介して音声意味的埋め込みをテキスト意味的埋め込み空間にマッピングする。
• 本手法は3段階で構成される：(1) 発音的埋め込み抽出と分離、(2) 意味的埋め込み学習、(3) 跨モodal埋め込みアライメント。
• 次元削減にはトップ100個の主成分を用い、最終アライメントステップの学習には学習率減衰付き確率的勾配降下法を適用する。
• モデルの評価には、ベンチマーク語類似度データセットにおけるスピアマンの順位相関係数と、語検索におけるトップ-k近傍正解率を用いる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり音声およびテキストモデリングを用いて、アラインメントのとられていない音声とテキストから意味的表現を効果的に学習できるか？
• RQ2 発音的および話者情報を分離することで、下流のASRタスクにおける音声埋め込みの質が向上するか？
• RQ3 ペアドデータが一切ない状態で、線形変換によって音声意味的埋め込みをテキスト意味的埋め込みにアライメントできるか？
• RQ4 教師ありまたは半教師ありアライメントは、アラインメントのとられていない音声とテキストにおいて、どの程度語レベルの対応関係を回復できるか？

主な発見

• SE/SAD手法—分離された発音的ベクトルから学習された意味的埋め込み—は、5000組のラベル付きペアを用いて、最高のトップ10近傍正解率60.68%を達成した。
• 分離により意味的相関スコアが顕著に向上し、OHWおよびPEWベンチマークの両方でスピアマンの順位相関が向上した。
• 5000組のラベル付きペアを用いた半教師ありファインチューニングにより、トップ10正解率は86.38%に向上し、限定的な監視情報がアライメント性能を著しく向上させることを示した。
• MBC-ICP手法は、ペアドデータが存在しない状態でも、音声とテキストの意味的埋め込み間のアフィン変換を成功裏に学習した。これは、線形マッピングが存在することを裏付けた。
• 音声意味的埋め込みは、生のオートエンコーダー埋め込みよりも意味的類似度タスクで優れた性能を示し、スキップグラム事前学習ステージの有効性を確認した。
• 完全に教師なしのアライメントは依然として挑戦的であるが、本フレームワークは最小限の監視情報で教師なしASRに到る実用的な道筋を提供している。