[論文レビュー] Attention-based Wav2Text with Feature Transfer Learning

Andros Tjandra, Sakriani Sakti+1 more|arXiv (Cornell University)|Sep 22, 2017

Speech Recognition and Synthesis参考文献 21被引用数 10

ひとこと要約

本論文は、スペクトル特徴を用いずに、生の音声波形を直接テキストに変換する、最初のエンド・ツー・エンドのアテンションベースのエンコーダ・デコーダモデル、Attention-based Wav2Textを提案する。特徴転移学習（メルスペクトログ램特徴で事前学習したモデルの重みでエンコーダを初期化）を採用することで、優れた収束性と性能を達成し、生波形ベースのベースラインや標準的なフィルタバンク特徴で学習したモデルを上回り、WSJ-SI284で6.54%のCERを達成した。

ABSTRACT

Conventional automatic speech recognition (ASR) typically performs multi-level pattern recognition tasks that map the acoustic speech waveform into a hierarchy of speech units. But, it is widely known that information loss in the earlier stage can propagate through the later stages. After the resurgence of deep learning, interest has emerged in the possibility of developing a purely end-to-end ASR system from the raw waveform to the transcription without any predefined alignments and hand-engineered models. However, the successful attempts in end-to-end architecture still used spectral-based features, while the successful attempts in using raw waveform were still based on the hybrid deep neural network - Hidden Markov model (DNN-HMM) framework. In this paper, we construct the first end-to-end attention-based encoder-decoder model to process directly from raw speech waveform to the text transcription. We called the model as "Attention-based Wav2Text". To assist the training process of the end-to-end model, we propose to utilize a feature transfer learning. Experimental results also reveal that the proposed Attention-based Wav2Text model directly with raw waveform could achieve a better result in comparison with the attentional encoder-decoder model trained on standard front-end filterbank features.

研究の動機と目的

• 手作業で作成した特徴量やハイブリッドフレームワークを一切用いずに、生の音声波形を直接テキストに変換するエンド・ツー・エンドの自動音声認識システムを開発すること。
• 高次元で低レベルの入力である生波形上で、深層アテンションベースのエンコーダ・デコーダモデルを学習する際の課題に取り組むこと。これは、しばしば収束しないことが知られている。
• スペクトルベースのモデルから転移学習を行うことで、生波形ASRにおける学習の安定性と性能が向上するかを調査すること。
• 標準的なASRデータセット（WSJ-SI84 や WSJ-SI284 など）を用いて、提案されたAttention-based Wav2Textモデルを既存のベンチマークと比較すること。

提案手法

• MFCC やフィルタバンクといった従来の特徴抽出器に代わり、生の音声波形を直接処理するエンド・ツー・エンドのアテンションベースのエンコーダ・デコーダアーキテクチャを提案する。
• 特徴転移学習戦略を導入：エンコーダをメルスペクトログラム特徴で事前学習したモデルの重みで初期化し、その後生波形上でファインチューニングすることで、意味のある表現を学習する。
• 長距離依存性をモデル化するため、畳み込み層、NIN（Network-in-Network）ブロック、および双方向LSTMを組み合わせたハイブリッドエンコーダ構造を採用する。
• 現在のデコーダの隠れ状態とエンコーダの出力に基づいてコンテキストベクトルを計算するアテンションメカニズムを採用し、入力と出力のシーケンス間の動的アライメントを可能にする。
• 自己回帰的生成を改善するために、入力に前のコンテキストベクトルを連結する入力フィードバックを適用する。
• 正解のトランスクリプションを用いたクロスエントロピー損失により、エンド・ツー・エンドで全モデルを学習し、最適化の安定化を図るために転送されたエンコーダ重みを活用する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル特徴を一切用いずに、生の音声波形上で直接学習するエンド・ツー・エンドのアテンションベースのエンコーダ・デコーダモデルは、競争力のあるASR性能を達成できるか？
• RQ2 メルスペクトログラムで事前学習したモデルからの転移学習は、エンド・ツー・エンドの生波形ASRシステムの収束性と性能を向上させるか？
• RQ3 提案されたAttention-based Wav2Textモデルの性能は、フィルタバンクやMFCC特徴で学習した標準モデルと比べてどうか？
• RQ4 異なる転移学習スキーム（例：fbank、MFCC、またはマルチターゲット）が最終的なASR精度に与える影響は何か？

主な発見

• 特徴転移学習を適用しない場合、Attention-based Wav2Textモデルは収束しなかった。これは、生波形上でランダム重みから初期化した場合に学習が不安定になることを示している。
• 特徴転移学習を適用した場合、WSJ-SI284データセットで6.54%の文字誤り率（CER）を達成し、フィルタバンク特徴で学習したベースラインのアテンションモデル（7.69% CER）を上回った。
• マルチターゲット事前学習スキームからの転移が最も高い性能を達成した。これは、マルチタスク表現学習が特徴転移の有効性を高めることを示している。
• MFCC特徴からの転移では6.58% CERを達成し、fbank特徴からの転移（6.78% CER）をわずかに上回った。これは、MFCCベースの事前学習が生波形ファインチューニングにおいてより効果的であることを示唆している。
• これらの結果から、生波形上で安定かつ高精度なエンド・ツー・エンドASRシステムを学習するには、特徴転移学習が不可欠であることが示された。これにより、収束が可能となり、標準的なスペクトル特徴ベースのモデルを凌駆する性能が達成された。