[論文レビュー] A Transformer with Interleaved Self-attention and Convolution for Hybrid Acoustic Models

Liang Lu|arXiv (Cornell University)|Oct 23, 2019

Speech Recognition and Synthesis参考文献 25被引用数 4

ひとこと要約

本稿では、Transformerアーキテクチャ内で自己注意機構と1次元畳み込み層を交互に配置するハイブリッド音響モデルを提案する。これにより、Librispeechにおける収束速度と認識精度が向上した。モデルは発話者適応やデータ拡張を用いず、KaldiのTDNNベースラインと同等の性能を達成しており、音声認識におけるアーキテクチャの交互配置の有効性を示している。

ABSTRACT

Transformer with self-attention has achieved great success in the area of nature language processing. Recently, there have been a few studies on transformer for end-to-end speech recognition, while its application for hybrid acoustic model is still very limited. In this paper, we revisit the transformer-based hybrid acoustic model, and propose a model structure with interleaved self-attention and 1D convolution, which is proven to have faster convergence and higher recognition accuracy. We also study several aspects of the transformer model, including the impact of the positional encoding feature, dropout regularization, as well as training with and without time restriction. We show competitive recognition results on the public Librispeech dataset when compared to the Kaldi baseline at both cross entropy training and sequence training stages. For reproducible research, we release our source code and recipe within the PyKaldi2 toolbox.

研究の動機と目的

• エンドツーエンドアプローチほど研究が進んでいないハイブリッド音響モデルにおけるTransformerベースのモデルの応用を探る。
• 畳み込み層と自己注意機構を統合することで、ハイブリッドモデルにおける学習安定性と長距離シーケンスモデリングの課題を解決する。
• ハイブリッド環境下における位置エンコーディング、ドロップアウト、時間制限の影響を調査する。
• 自己注意機構と畳み込みの交互配置が、純粋な自己注意モデルと比較して収束速度と認識精度を向上させることを示す。
• PyKaldi2を介して再現可能な実装を提供し、今後のハイブリッドTransformerモデル分野の研究を支援する。

提案手法

• 自己注意機構と1次元畳み込み層をエンコーダースタック内で交互に配置することで、局所的特徴学習と長距離依存関係モデリングの両方をバランスさせるTransformerアーキテクチャを設計する。
• 各サブレイヤー（多頭部自己注意機構とフィードフォワードネットワーク）の後に層正則化を適用し、残差接続を用いて学習を安定化させる。
• 入力埋め込みに正弦波位置エンコーディングを適用し、順序情報を取り入れることで、相対的位置関係を学習可能にする。
• アライメントと一般化性能の向上を目的に、交差エントロピー（CE）と最大相互情報量（MMI）基準を用いたシーケンス学習の両方でモデルを訓練する。
• 自己注意機構に時間制限を適用し、固定フレーム数のコンテキスト窓に制限することで、計算コストを低減し、学習安定性を向上させる。
• 多頭部自己注意機構（8ヘッド）、d_model=256、d_ff=1024、ドロップアウト率0.1を用いた6層エンコーダーを採用する。

実験結果

リサーチクエスチョン

• RQ1 Transformerエンコーダー内で自己注意機構と畳み込みを交互に配置することで、ハイブリッド音響モデルにおける収束速度と認識精度にどのような影響を与えるか？
• RQ2 位置エンコーディングとドロップアウト正則化は、自己注意機構ベースのハイブリッドモデルの性能にどのような影響を与えるか？
• RQ3 完全なシーケンス自己注意ではなく、時間制限付き自己注意を用いた学習は、モデル安定性と認識性能を向上させるか？
• RQ4 純粋なTransformerベースのハイブリッドモデルは、発話者レベルの適応やデータ拡張を一切用いず、強力なKaldiベースのTDNNベースラインと同等の性能を達成できるか？
• RQ5 MMI基準を用いたシーケンス学習では、モデルはどの程度の性能を示し、ノイズの多いテストセットに対しても一般化できるか？

主な発見

• 自己注意機構と畳み込みを交互に配置したモデルは、純粋な自己注意モデルと比較して、収束が速く、認識精度も高い結果を示した。
• Librispeechのtest-otherセットにおいて、CEで学習したTransformerモデルは、WERが11.8%に達し、KaldiのTDNNベースライン（CEで12.1%、sMBRで11.3%）と同等の性能を示した。
• MMIによるシーケンス学習を経た後、TransformerモデルのWERはtest-otherで11.1%に低下し、同じスプリットでKaldiのTDNNシステム（sMBRで11.3%）を上回った。
• 自己注意機構の将来コンテキストを限定窓を超えて拡大しても、WERは向上せず、CE損失は減少したが、過学習または注意ヘッドの不整合の可能性があることが示唆された。
• 時間制限付き注意機構を用いたモデルは、完全な注意機構バージョンよりわずかに性能が劣ったが、差は小さく、局所的コンテキストが良好な性能を達成するのに十分であることを示した。
• i-vector適応やスピード変更拡張を一切使用せず、競争力ある結果を達成した。これは、提案されたアーキテクチャの頑健性を強調している。