[論文レビュー] Learning Word Embeddings from Speech

Yu-An Chung, James Glass|arXiv (Cornell University)|Nov 5, 2017

Speech Recognition and Synthesis参考文献 33被引用数 20

ひとこと要約

本論文では、連続スロットグラム学習を用いたRNNエンコーダ・デコーダフレームワークを用いて、テキストや画像の教師なし条件下で生の音声から固定長の意味的ベクトル表現を直接学習する、Sequence-to-Sequence Audio2Vecという深層学習モデルを提案する。このモデルは13の語の類似度ベンチマークで競争力ある性能を示し、意味的情報をテキストや画像の教師なし条件下で音声から抽出可能であることを示している。

ABSTRACT

In this paper, we propose a novel deep neural network architecture, Sequence-to-Sequence Audio2Vec, for unsupervised learning of fixed-length vector representations of audio segments excised from a speech corpus, where the vectors contain semantic information pertaining to the segments, and are close to other vectors in the embedding space if their corresponding segments are semantically similar. The design of the proposed model is based on the RNN Encoder-Decoder framework, and borrows the methodology of continuous skip-grams for training. The learned vector representations are evaluated on 13 widely used word similarity benchmarks, and achieved competitive results to that of GloVe. The biggest advantage of the proposed model is its capability of extracting semantic information of audio segments taken directly from raw speech, without relying on any other modalities such as text or images, which are challenging and expensive to collect and annotate.

研究の動機と目的

• テキストや画像のアノテーションに依存せずに、生の音声から固定長の意味的ベクトル表現を教師なしで学習する手法を開発すること。
• 人間が聞くことで言語を学ぶのを模倣するように、音声特徴のみから話された言語内の意味的情報を捉えられるかどうかを調査すること。
• テキストベースの埋め込みに一般的に用いられる標準的な語の類似度ベンチマークを用いて、学習された音声埋め込みの品質を評価すること。
• GloVeなどの最先端のテキストベースのモデルと比較して、音声から得られる埋め込みの性能が、意味的類似度タスクにおいてどうなるかを評価すること。

提案手法

• エンコーダは可変長のMFCC特徴のシーケンスを固定長のコンテキストベクトルに変換するRNNエンコーダ・デコーダアーキテクチャを採用する。
• デコーダは、ターゲットセグメントを取り囲む窓サイズk内の隣接する音声セグメントを、連続スロットグラムの目的関数を用いて再構築するように訓練される。
• 損失関数は、コンテキストベクトルに基づいて周囲の音声セグメントを予測することで、符号化された表現が意味的類似度を捉えるように促進する。
• セグメント境界を定義するために強制アライメントを用い、各セグメントが意味的な言語的単位に対応するように、生の音声データ上でエンドツーエンドでモデルを訓練する。
• ベクトル類似度は、学習された表現間のコサイン類似度によって計算され、人間がアノテートした語の類似度スコアとのスピアマン順位相関を用いて性能を評価する。
• 長短記憶（LSTM）ネットワークを活用することで、音声シーケンス内の長距離依存性をよりよく捉える。

実験結果

リサーチクエスチョン

• RQ1 テキストや画像の教師なし条件下で、生の音声から固定長の意味的ベクトル表現を直接学習できるか。
• RQ2 人間がアノテートしたベンチマークで測定した場合、音声のみで訓練された教師なしモデルが語の意味的類似度をどの程度正確に捉えられるか。
• RQ3 標準的な語の類似度評価タスクにおいて、音声から得られる埋め込みの性能は、GloVeなどの最先端のテキストベースのモデルと比べてどうなるか。
• RQ4 音声生産のばらつきのため、生の音声から頑健な意味的表現を学習する際に直面する主な課題は何か。

主な発見

• Seq2seq Audio2Vecモデルは13の語の類似度ベンチマークで競争力ある性能を示し、スピアマンのrhoスコアは0.2023（SimVerb-3500）から0.7274（RG-65）の範囲にわたり、生の音声から意味的情報を抽出可能であることを示している。
• 大多数のベンチマークで、Audio2VecはGloVeと同等またはそれ以上の性能を示し、特に名詞や一般的な語では顕著で、RG-65で最高の相関係数0.7274を記録した。
• レアワード（0.3158）や動詞（0.2877）では低い性能を示し、頻度が低いか機能語である場合の意味的特徴の捉えにくさが明らかになった。
• GloVeほど絶対値のスコアが高くないものの、複数のデータセットで一貫して高いスコアを示しており、音声に意味的信号が十分に含まれており、意味的表現学習に適していることが示唆された。
• 13のベンチマークのうち10で語彙外（OOV）エラーがゼロであったため、既知の語ペairの処理において堅牢であることが示されたが、Rare-Wordデータセットでは783件のOOVが観測された。
• 本研究は、明示的な言語的教師なし条件下でさえ、生の音声から意味的情報を学習可能であることを確認したが、音声生産のばらつきが意味的表現学習の主な課題であることが明らかになった。