[论文解读] On decoder-only architecture for speech-to-text and large language model integration

Jian Wu, Yashesh Gaur+9 more|arXiv (Cornell University)|Jul 8, 2023

Speech Recognition and SynthesisComputer Science被引用 3

一句话总结

本文提出 Speech-LLaMA，通过使用连接时序分类（CTC）压缩声学特征并将它们映射到大型语言模型（LLM）的语义空间，首次实现了端到端将语音信号集成到仅解码器架构的大型语言模型中。该方法在多语言语音转文字翻译任务上达到最先进性能，优于强基线模型，并证明仅解码器架构在参数量减少40%的情况下可与编码器-解码器模型相媲美。

ABSTRACT

Large language models (LLMs) have achieved remarkable success in the field of natural language processing, enabling better human-computer interaction using natural language. However, the seamless integration of speech signals into LLMs has not been explored well. The "decoder-only" architecture has also not been well studied for speech processing tasks. In this research, we introduce Speech-LLaMA, a novel approach that effectively incorporates acoustic information into text-based large language models. Our method leverages Connectionist Temporal Classification and a simple audio encoder to map the compressed acoustic features to the continuous semantic space of the LLM. In addition, we further probe the decoder-only architecture for speech-to-text tasks by training a smaller scale randomly initialized speech-LLaMA model from speech-text paired data alone. We conduct experiments on multilingual speech-to-text translation tasks and demonstrate a significant improvement over strong baselines, highlighting the potential advantages of decoder-only models for speech-to-text conversion.

研究动机与目标

• 实现语音信号与预训练文本型大型语言模型（LLM）的无缝集成，用于端到端语音转文字任务。
• 探究仅解码器架构在语音转文字处理中的可行性与有效性，挑战编码器-解码器结构的主导地位。
• 通过引入轻量级音频编码器和压缩器，仅增加少量可学习参数，最小化集成成本。
• 探索实用的设计选择——如声学压缩、注意力掩码和 LoRA 微调——对模型性能的提升作用。
• 证明随机初始化的仅解码器模型在参数量显著减少的情况下，仍可达到与标准序列到序列基线相当的性能。

提出的方法

• 以预训练的 LLaMA-7B 模型作为主干 LLM，通过可学习的音频编码器将声学特征映射到其语义空间。
• 声学特征首先通过基于 CTC 的压缩器进行压缩，以在保留相关信息的同时减少序列长度。
• 压缩后的特征通过可学习的音频编码器嵌入 LLM 的 token 空间，实现对语音和文本的联合建模。
• 应用非因果注意力掩码，使 LLM 能够关注未来的声学 token，从而提升表征学习能力。
• 采用低秩微调（LoRA）对 LLM 进行微调，仅引入 210 万个额外参数，显著降低训练成本。
• 模型在语音-文本配对数据上进行端到端训练，无需离散语音 token 或级联的自动语音识别（ASR）系统。

Fig. 1 : High-level architecture of our proposed approach with LLM. The green blocks indicate the part of the LLM. In this work, we only learn parameters in the “Audio Encoder”, keeping everything else frozen.

实验结果

研究问题

• RQ1 仅解码器 LLM 架构是否能在不依赖编码器-解码器结构的前提下，有效整合原始声学特征用于语音转文字任务？
• RQ2 声学压缩方法的选择（如 CTC 与卷积方法）对下游翻译性能有何影响？
• RQ3 注意力掩码设计（因果 vs. 非因果）在仅解码器设置下对语音表征建模有何影响？
• RQ4 LoRA 微调在极小参数更新下能多大程度提升性能？
• RQ5 随机初始化的仅解码器模型是否能与强序列到序列基线模型相媲美？其参数效率如何？

主要发现

• 所提出的 Speech-LLaMA 模型在多语言语音翻译任务上显著优于强基线模型，当使用非因果注意力掩码和 LoRA 微调时，平均 BLEU 分数提升 1.5–1.6 分。
• 采用 CTC 压缩器并结合帧平均策略，相比移除空白符（blank-removal）方法，性能提升 1.5 BLEU 分，归因于对压缩错误更高的鲁棒性。
• 在空白符移除策略中，使用非因果注意力掩码相比因果掩码带来 1.5 BLEU 分的增益；在帧平均策略中带来 0.7 BLEU 分增益，表明表征学习能力得到显著改善。
• 仅引入 210 万个额外参数的 LoRA 微调使性能提升 1.5–1.6 BLEU 分，证明其在参数高效微调方面的高度有效性。
• 随机初始化的仅解码器模型性能比序列到序列基线低 0.4 BLEU 分，但参数量减少 40%，证实其在参数效率方面的优势。
• 初步结果表明，在 CTC 压缩器预训练阶段引入源语言转录文本可能进一步提升性能，为未来工作指明了有前景的方向。

Fig. 2 : The architecture of the decoder-only model for the from-scratch training. We use $\langle\text{SOS}\rangle$ token to indicate the starting of the text generation.