[論文レビュー] Unsupervised Speaker Adaptation using Attention-based Speaker Memory for End-to-End ASR

Leda Sarı, Niko Moritz+2 more|arXiv (Cornell University)|Feb 14, 2020

Speech Recognition and Synthesis参考文献 30被引用数 4

ひとこと要約

この論文は、ニューラルターミナルマシンにインspiredされたアテンションベースのスプーカーメモリを用いた、エンドツーエンドASRにおける教師なしスプーカー適応手法を提案する。モデルは訓練データから抽出されたスプーカーiベクトルをメモリバンクに格納し、現在の音声コンテキストに基づいてアテンション機構を用いて動的に関連するスプーカー表現（Mベクトル）を取得・結合する。このMベクトルは音声特徴量または隠れ層に付加される。本手法は、テスト時のスプーカー埋め込みや適応データを必要とせず、iベクトルベースラインと同等またはそれ以上の単語誤り率を達成する。特にスプーカー変更の状況下でも優れた性能を示す。

ABSTRACT

We propose an unsupervised speaker adaptation method inspired by the neural Turing machine for end-to-end (E2E) automatic speech recognition (ASR). The proposed model contains a memory block that holds speaker i-vectors extracted from the training data and reads relevant i-vectors from the memory through an attention mechanism. The resulting memory vector (M-vector) is concatenated to the acoustic features or to the hidden layer activations of an E2E neural network model. The E2E ASR system is based on the joint connectionist temporal classification and attention-based encoder-decoder architecture. M-vector and i-vector results are compared for inserting them at different layers of the encoder neural network using the WSJ and TED-LIUM2 ASR benchmarks. We show that M-vectors, which do not require an auxiliary speaker embedding extraction system at test time, achieve similar word error rates (WERs) compared to i-vectors for single speaker utterances and significantly lower WERs for utterances in which there are speaker changes.

研究の動機と目的

• テストスプーカーが訓練スプーカーと異なる場合に発生するエンドツーエンドASR性能の低下を是正すること。
• テスト時におけるスプーカーラベルやiベクトル計算を必要としない、教師なしでフレーム単位のスプーカー適応手法を開発すること。
• 入力特徴量だけでなく、エンコーダーの中間層に対してもスプーカー適応を適用する有効性を調査すること。
• 実世界で一般的なスプーカー変更状況下での手法のロバスト性を評価すること。
• メモリ拡張ネットワークがエンドツーエンドASRにおけるスプーカー表現学習に与える可能性を検討すること。

提案手法

• モデルは、訓練データから抽出されたスプーカーiベクトルを格納するメモリバンクを用いる。
• アテンション機構が現在の音声コンテキストに基づいてメモリアイテムに対する重みを計算し、iベクトルの重み付き組み合わせ（Mベクトル）を生成する。
• Mベクトルは、音声特徴量または中間エンコーダー層の出力に連結され、その後ネットワークに投影される。
• 本手法は、WSJおよびTED-LIUM2データセットで訓練された、統合CTCとアテンションベースのエンコーダ-デコーダーE2E ASRアーキテクチャに適用される。
• メモリリード操作はニューラルターミナルマシンにインspiredされており、文脈依存の動的で柔軟なスプーカー表現適応を可能にする。
• 本手法は教師なしである：訓練データからのメモリ固定に依存するため、テスト時のスプーカー情報やiベクトル抽出は不要である。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースのメモリ機構は、テスト時のスプーカーラベルを必要とせずにエンドツーエンドASR性能を向上させることができるか？
• RQ2 入力特徴量の適応だけでなく、中間エンコーダー層の適応もE2E ASRでより良い性能をもたらすか？
• RQ3 特にスプーカー変更状況下で、Mベクトル手法はiベクトルベースの適応と比較して単語誤り率で優れているか？
• RQ4 メモリ拡張型スプーカー適応機構は、明示的な適応データがなくてもスプーカー変更に対してロバストであるか？
• RQ5 スプーカー単位のiベクトルと発話単位のiベクトルの使用が適応性能に与える影響は何か？また、Mベクトル手法はそれらと比較してどうか？

主な発見

• Mベクトル手法は、第3エンコーダー層を適応対象とした場合、TED-LIUM2テストセットで11.0%の単語誤り率を達成し、最良のiベクトル性能と同等であった。
• 合成されたスプーカー変更を含む発話では、Mベクトルシステムがiベクトルベースラインと比較して4%の絶対的誤り率低下（15.9% → 11.9%）を達成した。
• テストセットにおいて、Mベクトルアプローチは発話単位iベクトルシステムを6.8%相対的に上回った（11.8% → 11.0% WER）。
• 第3エンコーダー層の適応がiベクトルおよびMベクトル両方で最良の性能を示し、入力レベルの適応よりも中間層の適応がより効果的であることを示唆した。
• Mベクトル手法は、テスト時のiベクトル計算を一切必要とせず、スプーカー単位iベクトルと同等の性能を達成した。これは、本手法が教師なしでかつ効率的であることを示している。
• 本手法は、アテンションベースのメモリリード機構によって可能になるフレーム単位の適応の利点を活かし、スプーカー変更に対して優れたロバスト性を示した。