[論文レビュー] Query-by-example Spoken Term Detection using Attention-based Multi-hop Networks

Chia-Wei Ao, Hung-yi Lee|arXiv (Cornell University)|Sep 1, 2017

Speech Recognition and Synthesis参考文献 20被引用数 4

ひとこと要約

本稿では、音声認識を経由せずに直接音声マッチングを可能にする、エンド・ツー・エンドのアテンションベースのマルチホップネットワークを、例による音声語句検出（STD）のための提案する。モデルはアテンションを用いて音声セグメント内のクエリ語句を局所化し、複数回のホップによって表現を精緻化する。この手法は、計算量の点で大幅に低い実行時間複雑性を実現し、DTWと同等の性能を達成する。特に、ラベルなしデータを用いた教師なし設定では、DTWを模倣するが、学習可能なパラメータを有さないDTWの欠点を克服する。

ABSTRACT

Retrieving spoken content with spoken queries, or query-by- example spoken term detection (STD), is attractive because it makes possible the matching of signals directly on the acoustic level without transcribing them into text. Here, we propose an end-to-end query-by-example STD model based on an attention-based multi-hop network, whose input is a spoken query and an audio segment containing several utterances; the output states whether the audio segment includes the query. The model can be trained in either a supervised scenario using labeled data, or in an unsupervised fashion. In the supervised scenario, we find that the attention mechanism and multiple hops improve performance, and that the attention weights indicate the time span of the detected terms. In the unsupervised setting, the model mimics the behavior of the existing query-by-example STD system, yielding performance comparable to the existing system but with a lower search time complexity.

研究の動機と目的

• 音声認識を経由せずに音声信号そのものに直接作用するエンド・ツー・エンドのディープラーニングモデルを、例による音声語句検出（STD）のための開発。
• 動的時間ワープ（DTW）の限界（計算量の高さと学習可能なパラメータの欠如）を克服し、学習可能なニューラルネットワークに置き換える。
• 教師ありおよび教師なしの学習設定を可能にし、ラベルがない状況ではDTWからの知識蒸留やユーザーフィードバックによるモデルの改善を可能にする。
• アテンション機構を用いて、より長い音声セグメント内でのクエリ語句の時間的範囲を局所化し、事前分割された語区切りが必要ないようにする。
• 複数ホップの推論により、音声セグメントからのコンテキスト情報を繰り返し用いてクエリ表現を段階的に更新することで、一般化性能と性能を向上させる。

提案手法

• モデルへの入力として、スプokenクエリおよび音声セグメントをMFCC音声特徴量で表現する。
• 一方向LSTMエンコーダーを用いて、スプokenクエリを固定次元のベクトルに埋め込む。
• クエリベクトルと音声セグメントの各タイムステップとの間でアライメントスコアを計算するアテンション機構を適用し、関連する領域を強調するアテンション重みを生成する。
• クエリ表現を音声セグメントからのコンテキストに即した情報を使って繰り返し更新するマルチホップ機構を実装し、複数ホップにわたって表現品質を向上させる。
• キーワード検出器（全結合ネットワーク）を用いて、クエリ語句が音声セグメント内に存在するかどうかの信頼度スコアを出力する。
• 教師あり設定ではラベル付きデータ上でバイナリクロスエントロピー損失を用いて学習し、教師なし設定ではDTWの類似度スコアを回帰ターゲットとして知識蒸留を実施する。

Fig. 1 : Framework and training scenarios

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのアテンションベースのマルチホップネットワークは、従来のDTWを上回りつつ、計算量の点で低減された複雑性を実現できるか？
• RQ2 アテンション機構は、STDにおける局所化精度と性能をどの程度向上させるか。また、検出語句の時間的範囲を特定できるか？
• RQ3 マルチホップ推論は、訓練データとテストデータの不一致がある状況でも、モデルの一般化性能を向上させるか？
• RQ4 DTWを教師として用いた教師なし学習で訓練されたニューラルネットワークは、推論時間の点でDTWを上回り、同等の性能を達成できるか？
• RQ5 DTWと提案されたアテンションベースのモデルは、アンサンブル設定においてどの程度相乗効果を発揮するか？

主な発見

• 提案されたアテンションベースのマルチホップネットワークは、教師あり設定下でテストセット1においてMAP 0.6676を達成し、シングルホップおよびベースラインのDTW手法を上回った。
• アテンション重みはクエリ語句の終端を高い精度で局所化している：25%の予測で誤差が1秒未塔であり、大多数のアテンションピークは真の終了時刻から0.1〜0.5秒の範囲内に位置している。
• マルチホップネットワークは一般化性能を向上させ、3ホップモデルがテストセット2および3で最良の性能を示し、それぞれMAP 0.6404および0.5837を達成した。
• 教師なし設定下でも、3ホップアテンションモデルはテストセット2および3でDTWを上回った（MAP：0.5964および0.5702 対 0.5778および0.5678）、ラベルなしデータでも優れた一般化性能を示した。
• 推論時間においてDTWの7倍速く、時間計算量はO(M×n)（nはホップ数、Nはクエリ長）であり、O(M×N)に比べて低く、リアルタイム応用に適している。
• DTWの出力を3ホップアテンションモデルとアンサンブルすることでさらなる向上が得られ、テストセット1ではMAP 0.6789を達成した。これにより、両手法の相補性が裏付けられた。

Fig. 2 : Attention mechanism