[論文レビュー] Efficient Adapters for Giant Speech Models

Nanxin Chen, Izhak Shafran+5 more|arXiv (Cornell University)|Jun 13, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、Conformerベースの巨大音声モデル向けに、各ブロックの両方のフィードフォワードネットワークに並列リーマンアダプタを挿入する、新しいアダプタアーキテクチャ「Two Parallel Adapters (TPA)」を提案する。TPAは、パラメータの更新率が1.4%〜11%に抑えられ、全微調整と同等の性能を達成しており、50%の音声認識ベンチマークでそれを上回る。また、事前学習済みエンコーダーを凍結したまま、効率的でタスク固有の適応が可能である。

ABSTRACT

Large pre-trained speech models are widely used as the de-facto paradigm, especially in scenarios when there is a limited amount of labeled data available. However, finetuning all parameters from the self-supervised learned model can be computationally expensive, and becomes infeasiable as the size of the model and the number of downstream tasks scales. In this paper, we propose a novel approach called Two Parallel Adapter (TPA) that is inserted into the conformer-based model pre-trained model instead. TPA is based on systematic studies of the residual adapter, a popular approach for finetuning a subset of parameters. We evaluate TPA on various public benchmarks and experiment results demonstrates its superior performance, which is close to the full finetuning on different datasets and speech tasks. These results show that TPA is an effective and efficient approach for serving large pre-trained speech models. Ablation studies show that TPA can also be pruned, especially for lower blocks.

研究の動機と目的

• 大規模事前学習済み音声モデルにおける全微調整の計算およびストレージ非効率性を解消すること。
• 低リソース環境における深刻な忘却と過学習を、パラメータ更新を最小限に抑えることで克服すること。
• 多様な音声タスクおよび多言語環境と互換性を持つ汎用的で効率的な適応手法を開発すること。
• エンコーダーの再学習を伴わず、複数の下流タスクへのスケーラブルな展開を可能にすること。
• リーマンアダプタの構造的・アーキテクチャ的要因を調査し、最適化され、剪定可能で高パフォーマンスを発揮するバージョンを設計すること。

提案手法

• 各Conformerブロックの両方のフィードフォワードネットワーク（FFN1およびFFN2）に挿入される二重ブランチリーマンアダプタ「Two Parallel Adapters (TPA)」を提案する。
• 全結合層2つとReLU活性化関数を備えたリーマン接続を用い、必要に応じてレイヤーノーマライゼーションを含む。
• トレーニング中は事前学習済みConformerエンコーダーを凍結し、更新するのはTPAとランダムに初期化されたデコーダーのみとする。
• 最適な構成を特定するために、アダプタ部品（例：レイヤーノーマライゼーション、ReLU、深さ、幅）に対する体系的なアブレーションスタディを実施する。
• 活性化統計に基づき、特に低層部においてイテレーティブにニューロンの剪定を実装する。
• 同じ凍結済みエンコーダーが、タスク固有のTPAとデコーダーヘッドを介して複数の下流タスクに統一フレームワークで利用可能となるように設計する。

実験結果

リサーチクエスチョン

• RQ1 二重ブランチアーキテクチャ（TPA）は、音声認識および翻訳タスクにおいて、従来の直列型または単一ブランチリーマンアダプタを上回る性能を発揮できるか？
• RQ2 TPAのアーキテクチャ設計（例：レイヤーノーマライゼーション、幅、深さ）は、性能およびパラメータ効率にどのように影響するか？
• RQ3 特に低層部と高層部において、TPAはどの程度剪定可能であり、性能劣化を来さずに済ますか？
• RQ4 多様な音声ベンチマークにおいて、TPAはパラメータのわずかな更新率で全微調整に近い性能を維持できるか？
• RQ5 TPAは、多言語ASRおよび多言語音声翻訳を含む複数の音声タスクに一般化可能か？

主な発見

• CoVoST 2 多言語音声翻訳タスクにおいて、TPAは全微調整から0.9 BLEU以内の性能を達成し、更新パラメータは1.4%に抑えられた。
• LibriSpeechでは、クリーンセットで1.9%のWER、その他のセットで3.7%のWERを達成し、全微調整と同等の性能を示したが、パラメータ更新率は11%であった。
• AMIおよびSwitchboardの挑戦的データセットにおいて、TPAは全微調整をわずかに下回るが、0.3 WER未満の差に抑えられ、更新パラメータは2%に留まった。
• アブレーションスタディの結果、2番目のFFNブロックでは最大60–80%のニューロンを剪定しても性能に損なわれず、特に低層部で顕著であった。
• 凍結エンコーダーの剪定はやや効果的でなかったが、ブロック2〜10では20–40%のニューロンを除去しても劣化が生じず、推論速度向上の可能性を示した。
• 先行研究で報告された直列型および並列型アダプタの両方を上回り、優れたパラメータ効率性と正確性を示した。