[論文レビュー] Acoustic-to-Word Recognition with Sequence-to-Sequence Models

Shruti Palaskar, Florian Metze|arXiv (Cornell University)|Jul 23, 2018

Speech Recognition and Synthesis参考文献 3被引用数 7

ひとこと要約

本論文は、語彙や言語モデルを必要とせず、音声を直接語にマッピングするエンド・ツー・エンドの音声から語への（A2W）系列対系列（S2S）モデルを提案する。アテンションベースのエンコーダ・デコーダネットワークを用い、Switchboard（300時間）において語誤り率（WER）を4.4–5.0%絶対的に低減する。また、最小限の教師信号で音声を語、沈黙、非沈黙に分割する能力を学習し、アテンションと隠れ状態の分析により解釈可能な音声-語ベクトルを生成する。

ABSTRACT

Acoustic-to-Word recognition provides a straightforward solution to end-to-end speech recognition without needing external decoding, language model re-scoring or lexicon. While character-based models offer a natural solution to the out-of-vocabulary problem, word models can be simpler to decode and may also be able to directly recognize semantically meaningful units. We present effective methods to train Sequence-to-Sequence models for direct word-level recognition (and character-level recognition) and show an absolute improvement of 4.4-5.0\% in Word Error Rate on the Switchboard corpus compared to prior work. In addition to these promising results, word-based models are more interpretable than character models, which have to be composed into words using a separate decoding step. We analyze the encoder hidden states and the attention behavior, and show that location-aware attention naturally represents words as a single speech-word-vector, despite spanning multiple frames in the input. We finally show that the Acoustic-to-Word model also learns to segment speech into words with a mean standard deviation of 3 frames as compared with human annotated forced-alignments for the Switchboard corpus.

研究の動機と目的

• 語彙や言語モデル、サブワードユニットを必要としない、直接的なエンド・ツー・エンドの音声から語への音声認識を可能にすること。
• 大規模な語彙を有する系列対系列モデルを用いて、Switchboardコーパスにおける語誤り率（WER）を改善すること。
• エンコーダの隠れ状態とアテンションの挙動を分析することで、モデルの解釈可能性を検討すること。
• 明示的な教師信号なしに、音声が語と一時停止にどのように分割されるかを学習しているかを示すこと。
• モデルの内部表現から意味的に整合性のある、意味的に一貫した音声-語ベクトルを抽出すること。

提案手法

• エンド・ツー・エンドの音声から語へのマッピングに、エンコーダに双方向LSTM、デコーダに単方向LSTMを用いたアテンションベースの系列対系列（S2S）モデルを採用する。
• 強制アラインメントや言語モデルの再スコアリングを避けるために、発話単位のアラインメントを持つ語レベルのトランスクリプトでモデルを学習する。
• CTCの単調性制約を回避するため、可変長の音声セグメントと出力語との間で柔軟なアラインメントを可能にする位置に依存するアテンションを採用する。
• エンコーダの隠れ状態を分析し、沈黙（安定した水平線）、音声（乱れ）、語の境界（隠れユニット全体にわたる縦方向の破線パターン）に対応するパターンを同定する。
• エンコーダの最終隠れ状態から音声-語ベクトルを抽出し、t-SNEと最近傍探索を用いて埋め込みの質を評価する。
• 語彙数30,000語をSwitchboardコーパスで使用し、サブワードユニットやOOV処理を一切行わず、モデルの一般化能力に依存する。

実験結果

リサーチクエスチョン

• RQ1 系列対系列モデルは、語彙や言語モデルを必要とせず、音声から語への音声認識で最先端の語誤り率（WER）を達成できるか？
• RQ2 明示的な教師信号なしに、モデルは音声を語と一時停止に分割する能力を学習しているか？
• RQ3 モデルのアテンション機構と隠れ状態は、複数フレームにわたって一貫性があり安定した音声-語ベクトルとして語を表現できるか？
• RQ4 学習された音声-語ベクトルは、人間がアノテートしたアラインメントと比較して、分割精度が高いか？
• RQ5 モデルの内部表現（例：埋め込み）は、意味的に類似した語をクラスタリングできるか？

主な発見

• 提案されたA2W S2Sモデルは、300時間の訓練データのみを用いても、先行研究と比較してSwitchboardコーパスで語誤り率（WER）を4.4–5.0%絶対的に改善した。
• モデルは、エンコーダの隠れ状態における安定した水平線（沈黙）、乱れ（音声）、および語の境界に対応する縦方向の破線パターン（隠れユニット全体にわたる）を識別することで、音声を語、沈黙、非沈黙に分割する能力を学習した。
• モデルが予測する語の境界の平均標準偏差は、人間がアノテートした強制アラインメントから3フレームであり、高い分割精度を示している。
• t-SNEの可視化と最近傍探索の結果、音声-語ベクトルは意味的に類似した語がクラスタリングされており、学習された埋め込みの質が確認された。
• モデルは、複数の音声フレームにわたっても、1つの320次元ベクトルとして語全体を表す解釈可能な音声-語ベクトルを生成した。
• 位置に依存するアテンションにより、可変長の音声セグメントと出力語との間で柔軟なアラインメントが可能となり、自然な会話の文脈では、単調なCTCベースのアプローチを上回った。