[論文レビュー] Segmental Audio Word2Vec: Representing Utterances as Sequences of Vectors with Applications in Spoken Term Detection

Yu‐Hsuan Wang, Hung-yi Lee+1 more|arXiv (Cornell University)|Aug 7, 2018

Speech Recognition and Synthesis参考文献 15被引用数 6

ひとこと要約

本稿では、強化学習を用いたセグメンテーションゲートを内蔵するセグメンタル系列対系列オートエンコーダ（SSAE）を用いた、同時非教師あり学習フレームワーク「セグメンタル音声Word2Vec」を提案する。この手法は、英語、チェコ語、フランス語、ドイツ語の複数言語において、フレームベースのDTWおよびベースライン手法よりも、話者語彙検出タスクで優れた性能を示し、学習された埋め込み表現が意味的な発音構造を効果的に捉えていることを示している。

ABSTRACT

While Word2Vec represents words (in text) as vectors carrying semantic information, audio Word2Vec was shown to be able to represent signal segments of spoken words as vectors carrying phonetic structure information. Audio Word2Vec can be trained in an unsupervised way from an unlabeled corpus, except the word boundaries are needed. In this paper, we extend audio Word2Vec from word-level to utterance-level by proposing a new segmental audio Word2Vec, in which unsupervised spoken word boundary segmentation and audio Word2Vec are jointly learned and mutually enhanced, so an utterance can be directly represented as a sequence of vectors carrying phonetic structure information. This is achieved by a segmental sequence-to-sequence autoencoder (SSAE), in which a segmentation gate trained with reinforcement learning is inserted in the encoder. Experiments on English, Czech, French and German show very good performance in both unsupervised spoken word segmentation and spoken term detection applications (significantly better than frame-based DTW).

研究の動機と目的

• 音声Word2Vecが事前に分離された語境界を必要とするという制限を克服し、分離と埋め込みの両方をエンドツーエンドの非教師あり学習で行えるようにすること。
• 語レベルの表現から発話レベルの表現へと拡張し、全発話を固定次元のベクトル列としてモデル化することで、音声の埋め込み表現を発話単位で学習すること。
• 分離と表現の共同最適化を通じて、発音構造を捉えた埋め込みを学習し、話者語彙検出の性能を向上させること。
• 離散的分離意思決定の非微分可能性を克服するため、ポリシー勾配強化学習を採用すること。

提案手法

• モデルは、エンコーダーにセグメンテーションゲートを組み込んだセグメンタル系列対系列オートエンコーダ（SSAE）を採用し、強化学習エージェントによって制御される。
• セグメンテーションゲートは、現在の音響特徴、ゲートドアクティベーション信号（GAS）、および直前の行動を組み合わせた状態ベクトルを用い、各時刻における分離の有無を決定する。
• RNNに基づくポリシーネットワークが状態を処理し、「分離」または「通過」の行動確率を出力する。訓練中は行動をサンプリングすることで探索を促進する。
• エンコーダーRNNは、分離点でのみ埋め込みを生成し、各セグメント後に隠れ状態をリセットすることで、各埋め込みの独立性を保証する。
• 再構成誤差を最小化するとともに、発話あたりの適切なセグメント数を促進するように、ポリシー勾配強化学習によりモデルを訓練する。
• セグメント数と発話長の比（r_{N/T}）に基づく正則化項を導入し、過剰分離を防ぐ。

Fig. 1 : The segmental sequence-to-sequence autoencoder (SSAE). In addition to the encoder RNN (ER) and decoder RNN (DR), a segmentation gate (blocks S ) is included in the encoder for estimating the word boundaries. During transitions across the segment boundaries, encoder RNN and decoder RNN are r

実験結果

リサーチクエスチョン

• RQ1 話者語彙検出などの下流タスクの性能向上を目的として、非教師ありの語分離と音声埋め込み学習を同時に最適化できるか。
• RQ2 系列対系列オートエンコーダと強化学習を統合することで、セグメント境界と発音埋め込みのエンドツーエンド学習がどのように可能になるか。
• RQ3 ヒューリスティック的またはベースラインの分離手法から得られる埋め込みと比較して、学習された埋め込みがどれほど発音構造の情報を保持しているか。
• RQ4 複数言語にわたる話者語彙検出において、本手法がフレームベースの動的時間ワープ（DTW）を上回る性能を示すか。
• RQ5 ドイツ語において、分割F1スコアはわずかにGASベースラインより低いにもかかわらず、なぜSSAEはSTD性能（MAP 13.82）が著しく優れているのか。

主な発見

• 話者語彙検出において、英語でMAP 23.27、チェコ語で19.41、フランス語で21.70、ドイツ語で13.82を達成。フレームベースのDTWベースラインを著しく上回った。
• チェコ語では、語分離タスクでF1スコア37.78を達成し、HAC（30.84）およびGAS（29.53）を上回り、ランダムベースライン（25.41）をも上回った。
• 英語では、リCALL 51.55%、PRECISION 37.06%を達成し、多くの語境界を正しく特定できたが、一部はサブワード単位に分割された。
• ドイツ語では、分割F1スコアがGAS（32.89）よりわずかに低い（31.69）ものの、STD性能は著しく優れており（MAP 13.82 対 0.27）、より優れた埋め込み品質を示している。
• オラクル条件（真値境界）では、英語で最高のMAP 30.28を達成し、SSAEの埋め込みが発音構造をほぼ最適に捉えていることを確認した。
• 結果から、音声Word2Vecが有用な埋め込みを生成するためには、語分離の品質が一定の閾値を超えている必要があり、劣悪な分離ではほぼランダムな性能にとどまることを示した。

Fig. 2 : An illustration of unsupervised spoken term detection performed with segment-based subsequence matching using SSAE.