[論文レビュー] E-Branchformer: Branchformer with Enhanced merging for speech recognition

Kwangyoun Kim, Felix F. Wu+5 more|arXiv (Cornell University)|Sep 30, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

E-Branchformer は、局所的（畳み込み）およびグローバル（自己注意）ブランチの融合に深度方向畳み込みを統合した改善されたマージ機構を備えた Branchformer アーキテクチャを強化し、外部データを用いない状態で、LibriSpeech test-clean で 1.81%、test-other で 3.65% の最先端の WER を達成した。

ABSTRACT

Conformer, combining convolution and self-attention sequentially to capture both local and global information, has shown remarkable performance and is currently regarded as the state-of-the-art for automatic speech recognition (ASR). Several other studies have explored integrating convolution and self-attention but they have not managed to match Conformer's performance. The recently introduced Branchformer achieves comparable performance to Conformer by using dedicated branches of convolution and self-attention and merging local and global context from each branch. In this paper, we propose E-Branchformer, which enhances Branchformer by applying an effective merging method and stacking additional point-wise modules. E-Branchformer sets new state-of-the-art word error rates (WERs) 1.81% and 3.65% on LibriSpeech test-clean and test-other sets without using any external training data.

研究の動機と目的

• 局所的およびグローバルなコンテキストブランチ間のマージ機構を向上させることにより、Branchformer アーキテクチャを改善すること。
• 軽量モジュール（例：深度方向畳み込み）を追加することで、ハイブリッド畳み込み-自己注意モデルの性能が向上するかを調査すること。
• 外部学習データを一切使用せずに、LibriSpeech ベンチマークで最先端の性能を達成すること。
• 今後の研究のための再現可能な実装を提供すること。
• 端末から端末までの ASR における局所的およびグローバル表現を統合するさまざまなマージ戦略の有効性を調査すること。

提案手法

• 畳み込みおよび自己注意ブランチの並列融合の後に、深度方向畳み込みを適用する新しいマージモジュールを導入する。
• 強化されたマージモジュールの後に、表現をさらに精錬するため、ポイントワイドのフィードフォワードネットワーク（FFN）をスタックする。
• 焼きなまし実験により最適なパフォーマンスを示したため、深度方向畳み込みのカーネルサイズを 31 に設定する。
• 畳み込みと自己注意ブランチを並列に処理し、強化されたモジュールでマージするマルチブランチアーキテクチャを採用する。
• 訓練の安定性を確保するため、エンコーダー全体に残差接続およびレイヤーナーミャライゼーションを適用する。
• 標準的な E2E ASR の設定に準拠して、注意ベースのエンコーダ-デコーダフレームワークを採用し、学習および推論に用いる。

実験結果

リサーチクエスチョン

• RQ1 畳み込みと自己注意ブランチ間のより深い統合機構が、Conformer や Branchformer よりも優れた ASR パフォーマンスを実現できるか？
• RQ2 マージモジュールに深度方向畳み込みを追加することで、計算コストを増加させずに局所的コンテキストの集約が向上するか？
• RQ3 深度方向畳み込みのさまざまなカーネルサイズが、LibriSpeech ベンチマークにおける WER に与える影響は？
• RQ4 SE ブロックや外部畳み込みモジュールなどの追加モジュールが、マージモジュールのパフォーマンスに与える影響は？
• RQ5 強化されたマージ機構は、トランスダーや CTC などの他の ASR フレームワークにも一般化可能か？

主な発見

• E-Branchformer は、外部データを一切使用しない状態で、LibriSpeech test-clean で 1.81%、test-other で 3.65% の新しい最先端の WER を達成し、Conformer や Branchformer を上回った。
• マージモジュールに深度方向畳み込みを追加することで、ベースラインの Branchformer と比較して、すべての評価セットで WER が 0.1–0.3% 減少した。
• 深度方向畳み込みのカーネルサイズが 31 の場合が最良のパフォーマンスを示し、カーネルサイズ 3 と比較して test-other で 0.16% の絶対的 WER 減少が確認された。
• マージモジュールに複数の深度方向畳み込みや SE ブロックを追加しても、パフォーマンスが低下するか、わずかな向上にとどまり、その恩恵は限定的であった。
• マージモジュールを Conformer スタイルの畳み込みモジュールに置き換えると、顕著なパフォーマンス低下が発生し、アーキテクチャの不適合性が示された。
• 強化されたマージモジュールは、10.8 GFLOPs の低計算コストを維持しながら精度を向上させたため、効率性と有効性の両立が確認された。