[論文レビュー] Multi-view Recurrent Neural Acoustic Word Embeddings

Wanjia He, Weiran Wang+1 more|arXiv (Cornell University)|Nov 14, 2016

Speech Recognition and Synthesis被引用数 33

ひとこと要約

本論文は、双方向LSTMとコントラスト損失を用いて音声的および正字的単語埋め込みを共同で学習する、マルチビュー再帰ニューラルネットワークフレームワークを提案する。ペアドされた音声および文字列のシーケンスを用いた学習により、単語の識別性能が向上し、クロスビューのタスクが可能になる。コストセンシティブ損失は、埋め込み距離と正字的編集距離の間の整合性を高めている。

ABSTRACT

Recent work has begun exploring neural acoustic word embeddings---fixed-dimensional vector representations of arbitrary-length speech segments corresponding to words. Such embeddings are applicable to speech retrieval and recognition tasks, where reasoning about whole words may make it possible to avoid ambiguous sub-word representations. The main idea is to map acoustic sequences to fixed-dimensional vectors such that examples of the same word are mapped to similar vectors, while different-word examples are mapped to very different vectors. In this work we take a multi-view approach to learning acoustic word embeddings, in which we jointly learn to embed acoustic sequences and their corresponding character sequences. We use deep bidirectional LSTM embedding models and multi-view contrastive losses. We study the effect of different loss variants, including fixed-margin and cost-sensitive losses. Our acoustic word embeddings improve over previous approaches for the task of word discrimination. We also present results on other tasks that are enabled by the multi-view approach, including cross-view word discrimination and word similarity.

研究の動機と目的

• 未知語に対する対応が困難で、正字形式との意味的整合性に欠ける単一ビュー音声的単語埋め込みの限界を克服すること。
• 音声波形とそれに対応する文字列の両方から、表現を共同で学習することで音声的単語埋め込みの質を向上させること。
• 共有され、整合性のある埋め込みを用いて、単一ビュー（音声またはテキスト）およびクロスビュー（音声からテキスト）のタスクを可能にすること。
• 固定マージンとコストセンシティブな変種を含む、異なるコントラスト損失関数を探索し、埋め込み空間の構造を最適化すること。
• マルチビュー手法が、同じ単語の埋め込みをより緊密にクラスタリングし、未観測単語への一般化性能を向上させることを示すこと。

提案手法

• 音声シーケンス（波形フレーム）および文字シーケンス（正字表記）の両方を、固定次元の埋め込みに変換するため、深層双方向LSTMネットワークを用いる。
• 一致する（同じ単語）および不一致する（異なる単語）ペアの埋め込みを比較するマルチビュー・コントラスト損失を用いてモデルを学習する。
• 2つの損失バージョンを実装する：異なる単語ペア間の最小距離を強制する固定マージンコントラスト損失、および真値の正字的編集距離を組み込んだコストセンシティブ損失。
• 同じ単語の埋め込みが近く、異なる単語の埋め込みが遠くに位置するように、共同埋め込み空間を最適化する。コストセンシティブ損失は、音声的・正字的類似性を反映する距離を促進する。
• t-SNE可視化を用いて、学習された空間における埋め込みのクラスタリング行動を分析する。
• 両モodalのための共有重みを持つサイアム型アーキテクチャを採用し、視点間で一貫した表現学習を保証する。

実験結果

リサーチクエスチョン

• RQ1 音声的単語識別タスクにおいて、単一ビュー手法と比較して、音声的および正字的単語埋め込みの共同学習が性能向上をもたらすか？
• RQ2 固定マージンとコストセンシティブの2種類のコントラスト損失関数は、学習された音声的単語埋め込みの質と構造にどのように影響するか？
• RQ3 学習された音声的およびテキスト埋め込みは、共有埋め込み空間でどの程度整合しているか。また、クロスビューのタスク（例：音声からテキストへの単語検索）に即座に利用可能か？
• RQ4 モデルは、以前に観測されていない単語にうまく一般化できるか。また、観測済み単語のみで学習されたモデルと比較して、性能はどの程度か？
• RQ5 学習された埋め込み距離は、単語間の正字的編集距離と意味的に相関しているか？

主な発見

• マルチビュー手法は、従来の単一ビュー手法と比較して、特に未知語に対して顕著に音声的単語識別性能を向上させた。
• コストセンシティブコントラスト損失は、固定マージン損失よりも、埋め込み距離と真値の正字的編集距離との間の相関を高めている。
• t-SNE可視化では、同じ単語の埋め込みが共有空間できわめて緊密にクラスタリングされており、観測済みおよび未観測の単語が一貫したクラスタを形成している。
• 共通の語尾（例：-ly, -ing, -tion）を持つ単語は、テキスト埋め込み空間で明確に分離され、密集したクラスタを形成しており、意味的および語彙的構造が捉えられていることが示された。
• 音声的および正字的埋め込みは非常に整合しており、直接比較可能であり、音声からテキストへの単語検索のようなクロスビューのタスクを可能にしている。
• モデルは未観測単語に対しても効果的に一般化できており、観測済み単語の埋め込みとほぼ同等のクラスタリング性能を示しており、未知語入力に対しても堅牢であることが示された。