[論文レビュー] On decoder-only architecture for speech-to-text and large language model integration

Jian Wu, Yashesh Gaur+9 more|arXiv (Cornell University)|Jul 8, 2023

Speech Recognition and SynthesisComputer Science被引用数 3

ひとこと要約

本稿では、音声特徴をConnectionist Temporal Classification (CTC) を用いて圧縮し、その特徴を大規模言語モデル（LLM）の意味的空間にマッピングすることで、デコーダーのみの大規模言語モデル（LLM）に音声信号をエンドツーエンドで統合する新規手法 Speech-LLaMA を提案する。この手法は、多言語音声対訳タスクにおいて最先端の性能を達成し、エンコーダー・デコーダー構造のモデルと同等の性能を示すが、パラメータ数を40%も削減している。

ABSTRACT

Large language models (LLMs) have achieved remarkable success in the field of natural language processing, enabling better human-computer interaction using natural language. However, the seamless integration of speech signals into LLMs has not been explored well. The "decoder-only" architecture has also not been well studied for speech processing tasks. In this research, we introduce Speech-LLaMA, a novel approach that effectively incorporates acoustic information into text-based large language models. Our method leverages Connectionist Temporal Classification and a simple audio encoder to map the compressed acoustic features to the continuous semantic space of the LLM. In addition, we further probe the decoder-only architecture for speech-to-text tasks by training a smaller scale randomly initialized speech-LLaMA model from speech-text paired data alone. We conduct experiments on multilingual speech-to-text translation tasks and demonstrate a significant improvement over strong baselines, highlighting the potential advantages of decoder-only models for speech-to-text conversion.

研究の動機と目的

• 事前学習済みのテキストベースの大規模言語モデル（LLM）に音声信号をシームレスに統合し、エンドツーエンドの音声対テキストタスクを可能にすること。
• デコーダーのみのアーキテクチャが音声対テキスト処理に適しているか、かつエンコーダー・デコーダー構造の優位性を覆せるかを検証すること。
• 軽量な音声エンコーダーと圧縮器を導入することで、学習可能なパラメータを最小限に抑え、統合コストを低減すること。
• 音声圧縮、アテンションマスク、LoRA微調整といった実用的な設計選択がモデル性能に与える影響を調査すること。
• ランダムに初期化されたデコーダーのみのモデルが、標準的な seq2seq ベースラインと比較して顕著に少ないパラメータ数で競争力のある性能を達成できるかを示すこと。

提案手法

• バックボーンとなる LLaMA-7B モデルが、学習可能な音声エンコーダーを介して音声特徴を意味的空間にマッピングすることで、LLM に統合される。
• 音声特徴はまず CTC を用いた圧縮器によって処理され、情報の保持を保ちつつシーケンス長を短縮する。
• 圧縮された特徴は、学習可能な音声エンコーダーを介して LLM のトークン空間に埋め込まれ、音声とテキストの両方の条件付けが可能になる。
• 非因果的アテンションマスクが適用され、LLM が将来の音声トークンにアクセスできるようになることで、表現学習が向上する。
• 低ランク微調整（LoRA）が、追加パラメータ数がたった 2.1M のみで LLM を微調整するために用いられ、トレーニングコストを最小限に抑える。
• モデルは音声-テキストペアデータ上でエンドツーエンドで学習され、離散音声トークンや段階的な ASR システムの必要がない。

Fig. 1 : High-level architecture of our proposed approach with LLM. The green blocks indicate the part of the LLM. In this work, we only learn parameters in the “Audio Encoder”, keeping everything else frozen.

実験結果

リサーチクエスチョン

• RQ1 エンコーダー・デコーダー構造を必要とせずに、生の音声特徴をデコーダーのみの LLM アーキテクチャが音声対テキストタスクに効果的に統合できるか？
• RQ2 音声圧縮手法の選択（例：CTC 対畳み込み）が、下流の翻訳性能に与える影響は？
• RQ3 アテンションマスク設計（因果的対非因果的）が、デコーダーのみの設定における音声表現のモデリングに与える影響は？
• RQ4 LoRA 微調整により、最小限のパラメータ更新でどの程度性能が向上するか？
• RQ5 ランダムに初期化されたデコーダーのみのモデルは、強力な seq2seq ベースラインと比較して競争力のある性能を達成できるか？また、パラメータ効率性はどの程度か？

主な発見

• 提案された Speech-LLaMA モデルは、多言語音声翻訳タスクにおいて強いベースラインを大きく上回り、非因果的アテンションマスクと LoRA 微調整を用いることで、平均して BLEU スコアが 1.5–1.6 ポints 向上する。
• フレーム平均化戦略を用いた CTC 圧縮器は、ブランク除去法よりも 1.5 BLEU ポイント高い性能を示し、圧縮誤りに対してより高いロバスト性を示す。
• 因果的マスクに代えて非因果的アテンションマスクを適用することで、ブランク除去法では 1.5 BLEU ポイント、フレーム平均化法では 0.7 BLEU ポイントのスコア上昇が得られ、表現学習の向上が示された。
• 追加パラメータ数がたった 2.1M の LoRA 微調整により、性能が 1.5–1.6 BLEU ポイント向上し、適応の高効率性が裏付けられた。
• ランダムに初期化されたデコーダーのみのモデルは、seq2seq ベースラインと比較して 0.4 BLEU ポイント低い性能を示したが、パラメータ数は 40% 少ないため、パラメータ効率性が確認された。
• 予備の結果から、CTC 圧縮器の事前学習時にソース言語の発話文を活用することで、さらなる性能向上が期待され、今後の研究の有望な方向性であることが示唆された。

Fig. 2 : The architecture of the decoder-only model for the from-scratch training. We use $\langle\text{SOS}\rangle$ token to indicate the starting of the text generation.