[論文レビュー] Discriminative Acoustic Word Embeddings: Recurrent Neural Network-Based Approaches

Shane Settle, Karen Livescu|arXiv (Cornell University)|Nov 8, 2016

Music and Audio Processing参考文献 24被引用数 41

ひとこと要約

本稿では、区別的損失を用いて訓練された再帰的ニューラルネットワーク（RNN）ベースの音声単語埋め込み表現を提案する。具体的には、シアンプルネットワーク構成における対照的損失と、分類器構成における交差エントロピー損失を用いる。この手法により、音声における単語の区別性能が向上する。シアンプルRNNモデルは、先行するCNNベースの手法や分類器ベースのRNNを上回り、単語区別タスクにおいて最先端の結果を達成する。低次元埋め込みでも安定した性能を示し、未観測単語への一般化性能も優れている。

ABSTRACT

Acoustic word embeddings --- fixed-dimensional vector representations of variable-length spoken word segments --- have begun to be considered for tasks such as speech recognition and query-by-example search. Such embeddings can be learned discriminatively so that they are similar for speech segments corresponding to the same word, while being dissimilar for segments corresponding to different words. Recent work has found that acoustic word embeddings can outperform dynamic time warping on query-by-example search and related word discrimination tasks. However, the space of embedding models and training approaches is still relatively unexplored. In this paper we present new discriminative embedding models based on recurrent neural networks (RNNs). We consider training losses that have been successful in prior work, in particular a cross entropy loss for word classification and a contrastive loss that explicitly aims to separate same-word and different-word pairs in a "Siamese network" training setting. We find that both classifier-based and Siamese RNN embeddings improve over previously reported results on a word discrimination task, with Siamese RNNs outperforming classification models. In addition, we present analyses of the learned embeddings and the effects of variables such as dimensionality and network structure.

研究の動機と目的

• 音声単語セグメント間の意味的・発音的類似性を捉えることができる、判別的音声単語埋め込み（AWE）を学習するためのRNNベースのモデルの有効性を検討すること。
• 対照的損失を用いたシアンプルネットワークと、交差エントロピー損失を用いた分類器ベースの訓練手法の2つの訓練パラダイムを比較して、AWEの学習に有効であるかを検証すること。
• ネットワークの深さ、埋め込み次元数、および学習語彙の頻度がAWE性能に与える影響を評価すること。
• 特に、発音が類似または相違する単語間の相対的距離を保持する能力を含め、学習済み埋め込みの構造的・幾何的性質を分析すること。

提案手法

• 本稿では、可変長の音声セグメントを固定次元の埋め込みに変換するため、深層LSTMおよびGRUベースのRNNを用いる。
• 2種類のモデルを訓練する：対照的損失を用いたシアンプルネットワーク（同じ単語間の距離を最小化し、異なる単語間の距離を最大化）と、単語識別を予測するための交差エントロピー損失を用いた分類器。
• シアンプルネットワークは、訓練例のすべてのペアを対象に学習され、訓練信号が拡張され、相対的な単語類似性のモデル化がより良くなる。
• ネットワーク構造は、最大3層のスタックされたRNN層に続いて全結合層を含み、層数の影響を評価するためのアブレーションスタディが実施されている。
• 埋め込み品質は、単語区別タスクにおける平均精度（AP）を用いて評価され、t-SNE可視化によりクラスタ構造とクラスタ間距離の分析が行われる。
• 実験は標準的なベンチマークデータセットを用い、先行するCNNベースのAWEや、動的時間ワープ（DTW）などのベースライン手法と比較される。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのモデルは、単語区別タスクにおいて、先行するCNNベースの音声単語埋め込みを上回ることができるか？
• RQ2 対照的損失を用いたシアンプル学習は、交差エントロピー損失を用いた分類器ベースの学習に比べ、未観測単語への一般化性能が優れているか？
• RQ3 スタックされたRNN層数や全結合層数といったアーキテクチャ選択が、学習済み埋め込みの品質にどのように影響するか？
• RQ4 埋め込み次元数の低減に対して、埋め込みはどれほど耐性を示すか？良好な性能を得るための最小次元数は何か？
• RQ5 学習頻度や単語の露出回数は、とりわけレア単語や未観測単語において、埋め込み品質にどの程度影響を与えるか？

主な発見

• 対照的損失を用いたシアンプルRNNモデルが開発セットで最高の平均精度を達成し、分類器ベースのRNNおよび先行するCNNベースのAWEを上回った。
• 16以上のすべての埋め込み次元数において、シアンプルRNNが優れた性能を示し、各次元で以前に報告されたCNNベースの結果を上回った。
• 3層のスタックされたRNN層と2〜3層の全結合層を有するモデルが最良の性能を示し、これは全結合層の影響が追加のスタックされたRNN層よりも顕著であることを示している。
• 単語の学習頻度が高くなるほど性能が向上し、ペアベースの学習スキームのおかげで、シアンプルモデルは頻度の上昇によりより大きな恩恵を受けていた。
• t-SNE可視化では、特に発音が類似または相違する単語（例：'programs' と 'problem'）間の相対的距離を、シアンプル埋め込みがよりよく保持していることが示された。
• 分類器ベースのアプローチに比べ、シアンプルモデルは未観測単語への一般化性能が優れており、これは対照的学習が単語同士の本質的類似性を、単なる識別分類を越えて捉えていることを示唆している。