[論文レビュー] A Conformer Based Acoustic Model for Robust Automatic Speech Recognition

Yufeng Yang, Peidong Wang+1 more|arXiv (Cornell University)|Mar 1, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

この論文は、最先端のWRBNシステムにおける再帰的BLSTM部を、畳み込みとアテンションを組み合わせたエンコーダーに置き換えたConformerベースの音声認識モデルを提案する。CHiME-4の実データテストセットにおいて6.25%のWERを達成し、前回の最先端（SOTA）より相対的に8.4%改善された。また、発話単位の正規化と反復的スピーカー適応を導入することで、モデルサイズを18.3%削減し、学習時間を79.6%短縮した。

ABSTRACT

This study addresses robust automatic speech recognition (ASR) by introducing a Conformer-based acoustic model. The proposed model builds on the wide residual bi-directional long short-term memory network (WRBN) with utterance-wise dropout and iterative speaker adaptation, but employs a Conformer encoder instead of the recurrent network. The Conformer encoder uses a convolution-augmented attention mechanism for acoustic modeling. The proposed system is evaluated on the monaural ASR task of the CHiME-4 corpus. Coupled with utterance-wise normalization and speaker adaptation, our model achieves $6.25\%$ word error rate, which outperforms WRBN by $8.4\%$ relatively. In addition, the proposed Conformer-based model is $18.3\%$ smaller in model size and reduces total training time by $79.6\%$.

研究の動機と目的

• Conformerベースの音声認識モデルを用いて、騒音があり遠方音声の状況下でも高い耐障害性を実現すること。
• 再帰的BLSTMモデルの学習時間とモデルサイズの非効率性を是正すること。
• 発話単位の正規化と反復的スピーカー適応を統合し、より耐障害性と信頼性を向上させること。
• 提案手法をCHiME-4のモノラルASRベンチマークで評価し、現実世界の騒音混じり音声認識の標準的テストベッドとしての有効性を検証すること。
• 自己教師あり事前学習データを用いずに、E2Eシステムおよびハイブリッドシステムを上回る性能を達成できるかを示すこと。

提案手法

• より優れたシーケンスモデリングを実現するため、畳み込みと自己アテンションを組み合わせたConformerエンコーダーを、先行SOTAシステムのワイドリサンスBLSTMネットワーク（WRBN）に置き換える。
• 発話間干渉を防ぎ、発話ごとの信頼性を向上させるために、すべての正規化層に発話単位のLayerNorm（LN）を適用する。
• 未学習のスピーカー向けに認識性能をさらに向上させるために、後処理として反復的スピーカー適応を適用する。
• Conformerのフィードフォワードネットワーク（FFN）モジュールに、スイッチ型活性化関数（Swish）と残差接続を用いたプレノーマル化アーキテクチャを採用する。
• 元のTransformer設計に従い、マルチヘッド自己アテンション（MHSA）モジュールの入力にスケーリング付き絶対的位置エンコーディングを適用する。
• 1枚のV100 GPUで5エポックの学習と11エポックのファインチューニングを実施し、初期のWRCNNフロントエンドでバッチ正規化とELU活性化関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 Conformerベースの音声認識モデルは、CHiME-4のモノラルASRタスクにおいて、語誤り率（WER）の観点で先行SOTAのWRBNシステムを上回ることができるか？
• RQ2 再帰的BLSTMをConformerエンコーダーに置き換えることで、性能を維持または向上させながら学習時間とモデルサイズを削減できるか？
• RQ3 発話単位の正規化は、騒音環境下でのE2E ASRにおける耐障害性と信頼性をどの程度向上させるか？
• RQ4 既存のシステムと比較して、本モデルはバス、カフェ、歩行者、ストリートなど多様な騒音環境下でどの程度の性能を示すか？
• RQ5 追加のデータやモデル再学習を必要とせずに、反復的スピーカー適応が認識精度をさらに向上させられるか？

主な発見

• 提案されたConformerベースのモデルは、CHiME-4の実データテストセットで6.25%のWERを達成し、前回のSOTA（Wang et al., 2019）より相対的に8.4%改善された。
• 2つのConformerエンコーダーブロックしか使用していないにもかかわらず、前回のSOTAと比較して合計の学習時間を79.6%短縮し、モデルサイズを18.3%削減した。
• ESPnetのE2E ConformerベースラインおよびKaldiベースのハイブリッドベースラインを上回り、自己教師あり事前学習データを用いずに、アーキテクチャの改善がE2Eシステムを凌駕できることを示した。
• バス、カフェ、歩行者環境では、シミュレート済みおよび実データの両方で、前回のSOTAを下回る低いWERを示し、優れた耐障害性を示した。
• ストリート環境では、前回のSOTAシステムがわずかに優れており、ドメイン特異的制限やデータ不足の影響が考えられる。
• 2つ以上のConformerブロックを用いた実験では性能向上が得られず、CHiME-4データセットが深層モデルの効果的学習に不十分である可能性を示唆した。