[論文レビュー] Unsupervised Learning of Audio Segment Representations using Sequence-to-sequence Recurrent Neural Networks

Yu-An Chung, Chao-Chung Wu+2 more|arXiv (Cornell University)|Mar 3, 2016

Music and Audio Processing参考文献 24被引用数 33

ひとこと要約

本稿では、LSTMユニットを搭載したシーケンス・ツー・シーケンスオートエンコーダーを用いて、可変長の音声セグメントの固定次元ベクトル表現を学習する教師なし手法、Audio Word2Vecを提案する。エンコーダーとデコーダーを同時に訓練して再構成誤差を最小化することで、モデルは順序的な音声的構造を捉え、従来の動的時間ワープ（DTW）法に比べて優れた性能を達成するとともに、大幅に低い計算コストで実現した。

ABSTRACT

The vector representations of fixed dimensionality for words (in text) offered by Word2Vec have been shown to be very useful in many application scenarios, in particular due to the semantic information they carry. This paper proposes a parallel version, the Audio Word2Vec. It offers the vector representations of fixed dimensionality for variable-length audio segments. These vector representations are shown to describe the sequential phonetic structures of the audio segments to a good degree, with very attractive real world applications such as query-by-example Spoken Term Detection (STD). In this STD application, the proposed approach significantly outperformed the conventional Dynamic Time Warping (DTW) based approaches at significantly lower computation requirements. We propose unsupervised learning of Audio Word2Vec from audio data without human annotation using Sequence-to-sequence Audoencoder (SA). SA consists of two RNNs equipped with Long Short-Term Memory (LSTM) units: the first RNN (encoder) maps the input audio sequence into a vector representation of fixed dimensionality, and the second RNN (decoder) maps the representation back to the input audio sequence. The two RNNs are jointly trained by minimizing the reconstruction error. Denoising Sequence-to-sequence Autoencoder (DSA) is furthered proposed offering more robust learning.

研究の動機と目的

• 可変長の音声セグメントの固定次元ベクトル表現を学習する教師なし手法の開発。
• 人間によるアノテーションなしで、音声における意味的および音声的表現学習を可能にする。
• 従来の動的時間ワープ（DTW）法に比べ、例検索型スプoken Term Detection（STD）の性能を向上させる。
• 学習された音声埋め込みを用いることで、音声検索タスクにおける計算要件を低減する。

提案手法

• シーケンス・ツー・シーケンスオートエンコーダー（SA）を用いる。これはエンコーダーとデコーダーから構成され、両方とも長短期記憶（LSTM）ユニットで実装されている。
• エンコーダーは入力音声シーケンスを固定次元のベクトル表現にマッピングする。
• デコーダーは学習されたベクトル表現から元の音声シーケンスを再構成する。
• モデルは、入力と出力シーケンス間の再構成誤差を最小化することで、エンド・ツー・エンドに訓練される。
• 入力シーケンスを汚染することで訓練中にロバスト性を向上させる、ドレインジング・シーケンス・ツー・シーケンスオートエンコーダー（DSA）という変種を導入した。
• 学習された音声埋め込みは順序的な音声的構造を捉えており、効果的な下流の音声検索タスクを可能にする。

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテーションなしで、音声セグメント表現の教師なし学習を効果的に達成できるか？
• RQ2 LSTMを用いたシーケンス・ツー・シーケンスオートエンコーダーは、可変長の音声セグメントにおける音声的および順序的構造をどれほど的確に捉えられるか？
• RQ3 学習された音声埋め込みは、従来のDTWベースの手法に比べ、例検索型スプoken Term Detectionで優れた性能を発揮できるか？
• RQ4 提案手法は、検索精度を維持または向上させつつ、計算コストを低減できるか？

主な発見

• 提案されたAudio Word2Vec手法は、例検索型スプoken Term Detectionにおいて、従来の動的時間ワープ（DTW）手法を顕著に上回った。
• DTWベースのシステムに比べ、はるかに低い計算要件で高い検索精度を達成した。
• LSTMを用いたシーケンス・ツー・シーケンスオートエンコーダーは、可変長の音声セグメントに対して意味的で固定次元の表現を効果的に学習した。
• ドレインジング変種（DSA）はロバスト性を向上させ、ノイズや汚染された入力条件下でも一般化性能が向上していることを示唆した。
• 学習された音声埋め込みは順序的な音声的構造を効果的に捉えており、意味的および音声的類似性モデリングを可能にした。
• 教師なし学習の枠組みは、人間によるトランスクリプションの必要なしに、有用な音声表現を効果的に抽出できた。