[論文レビュー] Topic Identification for Speech without ASR

Chunxi Liu, Jan Trmal+3 more|arXiv (Cornell University)|Mar 22, 2017

Speech Recognition and Synthesis参考文献 23被引用数 3

ひとこと要約

本稿では、音声認識（ASR）に依存せず、低リソース環境におけるトピック同定を可能にするために、非教師付き語彙発見（UTD）および音声ユニット発見（AUD）を用いた非教師付き音声トークン化を提案する。CNNベースのモデルがAUDから得られる音素に類似したユニットを用いることで、十分なデータが得られる場合には競争力のある性能を示し、SVMやASRベースのベースラインに迫る性能を発揮する。一方、翻訳済み音声や言語固有のモデルへの依存を排除している。

ABSTRACT

Modern topic identification (topic ID) systems for speech use automatic speech recognition (ASR) to produce speech transcripts, and perform supervised classification on such ASR outputs. However, under resource-limited conditions, the manually transcribed speech required to develop standard ASR systems can be severely limited or unavailable. In this paper, we investigate alternative unsupervised solutions to obtaining tokenizations of speech in terms of a vocabulary of automatically discovered word-like or phoneme-like units, without depending on the supervised training of ASR systems. Moreover, using automatic phoneme-like tokenizations, we demonstrate that a convolutional neural network based framework for learning spoken document representations provides competitive performance compared to a standard bag-of-words representation, as evidenced by comprehensive topic ID evaluations on both single-label and multi-label classification tasks.

研究の動機と目的

• 翻訳済みデータが不足する低リソース音声環境におけるトピック同定を解決すること。
• UTD や AUD といった非教師付き音声トークン化手法が、手動による翻訳なしで ASR を代替できるかどうかを調査すること。
• 従来の bag-of-words 特徴量と比較して、非教師付き音声ユニットに基づく CNN ベースの表現学習の有効性を評価すること。
• word2vec の事前学習およびモデルアーキテクチャが、低データ環境における性能に与える影響を特定すること。
• 単一ラベルおよび複数ラベルのトピック分類タスクにおいて、UTD、AUD、ASRベースのシステムの性能を比較すること。

提案手法

• Zero Resource Toolkit を用いて、スパースな音声類似度行列と高速な DTW ベースの照合を介して繰り返し発生する語に類似したユニットを同定する非教師付き語彙発見（UTD）を適用する。
• AUD フレームワークにおいて変分ベイジアン推論を用いて、翻訳済み音声が不要な状態で音素に類似したユニットを学習し、言語に依存しない音声ユニット発見を実現する。
• 多言語のボトルネック特徴量を事前学習済みモデルから抽出し、UTD および AUD に言語に依存しない音声表現を提供する。
• AUD から得られる順序付きトークン化に基づいて、連続的で文脈に配慮した spoken document 表現を学習するため、畳み込みニューラルネットワーク（CNN）を訓練する。
• 特に低データ環境において一般化性能を向上させるために、音声ユニットの embedding に word2vec の事前学習を適用する。
• 学習済み表現に対して SVM および CNN 分類器を用いて単一ラベルおよび複数ラベルのトピック分類を実施し、平均精度（AP）で評価する。

実験結果

リサーチクエスチョン

• RQ1 翻訳済みデータなしで、非教師付き音声ユニット発見（AUD）および非教師付き語彙発見（UTD）が、効果的な音声トークン化を実現できるか？
• RQ2 CNN ベースの表現学習フレームワークは、従来の bag-of-words 特徴量と比較して、AUD から得た音素に類似したユニット上でどれほど効果的に機能するか？
• RQ3 音声ユニットの word2vec 事前学習が、低リソース環境におけるトピック同定性能を向上させるか？
• RQ4 モデル性能は、特に CNN と SVM の間で、学習データ量の変化にどのように影響を受けるか？
• RQ5 多様な低リソース言語において、UTD、AUD、ASRベースのシステムのトピック同定精度はどのように比較されるか？

主な発見

• LORELEI トルコ語データセット（16.5時間のドメイン内データ）では、AUDベースのCNNが全体で平均精度（AP）0.641、ドメイン内トピックでは0.564を達成し、UTDおよびSVMベースラインを上回った。
• ウズベク語（2.9時間のドメイン内）や中国語（7.7時間のドメイン内）といった小規模コーパスでは、UTDベースのSVMがAUDベースのSVMを上回った。これは、UTDが低データ環境で優位であることを示している。
• トルコ語およびウズベク語では、AUDベースのCNNがSVMを上回ったが、中国語では下回った。これは、CNNがより多くのデータを必要とし、効果的に一般化できる状況に依存していることを示唆している。
• ASRベースのシステムは依然として最も強いベースラインであり、トルコ語では全体でAP 0.625、中国語では0.461を記録したが、翻訳済みデータを必要としていた。
• AUD の濃度パラメータ γ を 1.0 から 10.0 に増加させると、ユニークなユニット数が 184 から 199 に増加し、一般に性能向上が見られた。
• LORELEI では、CNN と SVM の性能差が Switchboard よりも小さく、15〜60時間の小規模な LORELEI データセットでは、より大きなコーパスと比較してCNNの利点が制限されていることが示された。