[論文レビュー] Branchformer: Parallel MLP-Attention Architectures to Capture Local and Global Context for Speech Recognition and Understanding

Yifan Peng, Siddharth Dalmia+2 more|arXiv (Cornell University)|Jul 6, 2022

Speech Recognition and Synthesis被引用数 40

ひとこと要約

Branchformerは、並列のグローバル（注意機構）とローカル（cgMLP）経路を持つ2つのブランチエンコーダを導入し、それらの出力を統合して長距離および局所的な依存関係をASRとSLUのために捉え、強力な結果と柔軟で訓練可能な推論計算量を実現する。

ABSTRACT

Conformer has proven to be effective in many speech processing tasks. It combines the benefits of extracting local dependencies using convolutions and global dependencies using self-attention. Inspired by this, we propose a more flexible, interpretable and customizable encoder alternative, Branchformer, with parallel branches for modeling various ranged dependencies in end-to-end speech processing. In each encoder layer, one branch employs self-attention or its variant to capture long-range dependencies, while the other branch utilizes an MLP module with convolutional gating (cgMLP) to extract local relationships. We conduct experiments on several speech recognition and spoken language understanding benchmarks. Results show that our model outperforms both Transformer and cgMLP. It also matches with or outperforms state-of-the-art results achieved by Conformer. Furthermore, we show various strategies to reduce computation thanks to the two-branch architecture, including the ability to have variable inference complexity in a single trained model. The weights learned for merging branches indicate how local and global dependencies are utilized in different layers, which benefits model designing.

研究の動機と目的

• 音声処理において局所およびグローバルな文脈を明示的にモデル化する柔軟で解釈可能なエンコーダの必要性を動機づける。
• グローバルな注意機構とローカルなcgMLPの2つの平行ブランチを備えたBranchformerを提案し、さまざまな依存関係の範囲を捉える。
• BranchformerがASRおよびSLUのベンチマーク全体でTransformer、cgMLPを上回り、Conformerと同等またはそれを上回ることを示す。
• ブランチの使用を解釈する分析ツールを実証し、ブランチのマージとドロップアウトによる推論コスト削減戦略を提供する。

提案手法

• 各層ごとに2ブランチのエンコーダを用い、1つのブランチは相対位置エンコーディングを用いた自己注意（または効率的な variants）によりグローバルな文脈をモデル化する。
• 2番目のブランチはcgMLP（畳み込みゲーティングを備えたMLP）を用いて深さ方向畳み込みと線形ゲーティングを活用してローカルな文脈をモデル化する。
• ブランチを連結（デフォルト）または加重平均でマージし、推論を速くするためのトレーニング時のブランチドロップアウトを任意で適用して剪定する。
• 加重平均マージ時の重み付けのために、ブランチ出力を要約するための注意機構ベースのプーリングを使用する。
• 計算量を系列長に対して二乗から線形へ低減する効率的な注意機構の変種（例：Fastformer）を検討する。

実験結果

リサーチクエスチョン

• RQ1 1つのエンコーダ層内で、局所的およびグローバルな文脈依存を並列にどのようにモデル化できるか？
• RQ2 並列の2ブランチ設計は、単一ブランチのConformer系アーキテクチャより解釈性と性能を向上させるか？
• RQ3 2ブランチ設計は、再訓練なしでブランチドロップアウトを用いた柔軟な推論コストを可能にするか？
• RQ4 さまざまなブランチマージ戦略が性能と解釈性に与える効果はどうなるか？
• RQ5 学習されたブランチ重みによって、データセット全体での局所情報とグローバル情報の層ごとの使用がどのように表れるか？

主な発見

• Branchformerは一貫してTransformerおよびcgMLPのベースラインを上回り、ASRおよびSLUのベンチマークでConformerと同等またはそれ以上を達成する。
• 2ブランチ設計は解釈性を提供する：学習されたブランチ重みにより、局所依存とグローバル依存の層ごとのシフトが明らかになる。
• 柔軟な推論コスト：ブランチドロップアウトは再訓練なしで注意ブランチを無効化して推論を高速化する。
• 効率的な注意機構（Fastformer）により計算量を削減できる一方で、完全な自己注意は精度で依然として競争力がある。
• 層ごとの分析では、初期に局所ブロックとグローバルブロックが交互に配置され、後半はグローバル要素またはローカル要素のブロックが支配的であり、層間で動的な文脈使用を示している。