[論文レビュー] Sequence-to-Sequence Speech Recognition with Time-Depth Separable Convolutions

Awni Hannun, Ann Lee+2 more|arXiv (Cornell University)|Apr 4, 2019

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文は、時間・深さ分離畳み込み（TDS）を用いた完全畳み込み型のシーケンス・ツー・シーケンス音声認識モデルを提案し、LibriSpeechで最先端のWERを達成するとともに、RNNベースラインより10倍以上効率的である。TDSブロックは時間的およびチャネル別集約を分離することで、少ないパラメータで大きな受容 field を実現可能にし、畳み込み型言語モデルを統合した安定なビームサーチにより、ノイズの多いLibriSpeechに対して22%以上の相対的WER低減を達成した。

ABSTRACT

We propose a fully convolutional sequence-to-sequence encoder architecture with a simple and efficient decoder. Our model improves WER on LibriSpeech while being an order of magnitude more efficient than a strong RNN baseline. Key to our approach is a time-depth separable convolution block which dramatically reduces the number of parameters in the model while keeping the receptive field large. We also give a stable and efficient beam search inference procedure which allows us to effectively integrate a language model. Coupled with a convolutional language model, our time-depth separable convolution architecture improves by more than 22% relative WER over the best previously reported sequence-to-sequence results on the noisy LibriSpeech test set.

研究の動機と目的

• 強いRNNベースのベースラインを上回る、高効率かつ高精度なシーケンス・ツー・シーケンス音声認識モデルの開発。
• 時間・深さ分離畳み込みを用いた完全畳み込み型エンコーダーに再設計することで、モデルの複雑さと推論時間を低減。
• 大規模ビームサイズでも精度が低下しない安定的かつスケーラブルなビームサーチ推論を実現し、畳み込み型言語モデルを効果的に統合。
• 非効率な逐次的コンponent（例：スケジュールドサンプリングや位置ベースのアテンション）を排除しながら、認識性能を維持または向上。

提案手法

• エンコーダーは、まず時間方向に2次元畳み込み（カーネルサイズ k×1）を適用し、その後に2つの1×1畳み込みとReLU活性化関数を用いた全結合ブロックを適用する時間・深さ分離（TDS）畳み込みブロックを採用。
• TDSブロックには残差接続と、時間軸を含む全次元に適用される層正則化が含まれており、トレーニングの安定化と一般化性能の向上を図る。
• 3段階のサブサンプリング層を用い、ストライド2を適用することでチャネル数を増加させ、時間情報を圧縮しながらも文脈を維持。
• デコーダーはトレーニング時に教師強制を採用し、コストの高い神経アテンションに代わって並列計算が可能な簡素化された内積アテンション機構を採用。
• ビームサイズが80に達するまで精度を維持する安定なビームサーチ手順を開発し、畳み込み型言語モデルとの統合を効果的に行える。
• 推論時に畳み込み型言語モデルを統合することでn-gramベースライン性能を向上させ、ビームサーチが言語モデルの制約を効率的に処理。

実験結果

リサーチクエスチョン

• RQ1 時間・深さ分離畳み込みを用いた完全畳み込み型エンコーダーは、RNNベースのシーケンス・ツー・シーケンスモデルを上回るWERを達成しつつ、著しく効率的であるか？
• RQ2 スケジュールドサンプリングや位置ベースのアテンションといった逐次的依存関係を排除しても性能が低下するか、それとも単純な代替手法が精度を維持できるか？
• RQ3 畳み込み型言語モデル統合時に、大規模ビームサイズでも効果的にスケーリングできる安定なビームサーチ手順を設計できるか？
• RQ4 受容 field のサイズがWERに与える影響は何か？また、信頼できるシーケンス・ツー・シーケンス認識を実現するための最小限の閾値は何か？
• RQ5 効率的なビームサーチとTDSベースエンコーダーを組み合わせた場合、畳み込み型言語モデルがWERにどの程度寄与するか？

主な発見

• TDS畳み込みモデルは、LibriSpeech dev-cleanで5.10%、dev-otherで14.99%のWERを達成し、これまでに報告された最高のシーケンス・ツー・シーケンス結果を上回った。
• ノイズの多いLibriSpeechテストセットにおいて、従来のシーケンス・ツー・シーケンスモデルと比較して22%以上の相対的WER低減を達成し、最先端の性能を実現した。
• LibriSpeechで1エポックのトレーニングにわずか7分で完了し、同じサブサンプリング要因を有するRNNベースラインと比較して10倍以上高速だった。
• ビームサイズ80のビームサーチは高い精度を維持しており、特にdev-otherセットにおいて畳み込み型言語モデルを統合することで一貫したWER改善が見られた。
• 受容 field が閾値を下回るとモデルのWERが急激に悪化し、デコーダーの照合を容易にするために十分な文脈情報が不可欠であることが示された。
• スケジュールドサンプリングや位置ベースのアテンションが欠落しているにもかかわらず性能に悪影響はなく、より単純で効率的な代替手法により強力な結果が得られた。