[논문 리뷰] On decoder-only architecture for speech-to-text and large language model integration

Jian Wu, Yashesh Gaur외 9명|arXiv (Cornell University)|2023. 07. 08.

Speech Recognition and SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 연결주의 시계열 분류(CTC)를 통해 음성 특징을 압축하고 이를 대규모 언어 모델(LLM)의 의미 공간에 매핑함으로써, 디코더 중심의 대규모 언어 모델에 음성 신호를 종단 간(end-to-end) 통합하는 새로운 방법인 Speech-LLaMA를 제안한다. 이 방법은 다국어 음성 번역에서 최고 성능을 기록하며, 인코더-디코더 모델 대비 40% 적은 파라미터로도 동등한 성능을 달성함을 보여준다.

ABSTRACT

Large language models (LLMs) have achieved remarkable success in the field of natural language processing, enabling better human-computer interaction using natural language. However, the seamless integration of speech signals into LLMs has not been explored well. The "decoder-only" architecture has also not been well studied for speech processing tasks. In this research, we introduce Speech-LLaMA, a novel approach that effectively incorporates acoustic information into text-based large language models. Our method leverages Connectionist Temporal Classification and a simple audio encoder to map the compressed acoustic features to the continuous semantic space of the LLM. In addition, we further probe the decoder-only architecture for speech-to-text tasks by training a smaller scale randomly initialized speech-LLaMA model from speech-text paired data alone. We conduct experiments on multilingual speech-to-text translation tasks and demonstrate a significant improvement over strong baselines, highlighting the potential advantages of decoder-only models for speech-to-text conversion.

연구 동기 및 목표

• 사전에 텍스트 기반 대규모 언어 모델(LLM)로 훈련된 모델에 음성 신호를 원활하게 통합하여 종단 간 음성-텍스트 작업을 가능하게 하기.
• 디코더 중심 아키텍처가 음성-텍스트 처리에 대해 타당하고 효과적인지 검토하고, 인코더-디코더 설계의 우세성을 도전하기.
• 경량 음성 인코더와 압축기 도입을 통해 학습 가능한 파라미터 수를 최소화하여 통합 비용을 줄이기.
• 음성 압축, 어텐션 마스킹, LoRA 미세조정과 같은 실용적인 설계 선택 사항이 모델 성능에 미치는 영향을 탐색하기.
• 랜덤 초기화된 디코더 중심 모델이 표준 seq2seq 기반 모델 대비 훨씬 적은 파라미터로 경쟁 가능한 성능을 달성할 수 있는지 확인하기.

제안 방법

• 기본 LLM으로 LLaMA-7B 모델을 사용하며, 음성 특징을 학습 가능한 음성 인코더를 통해 의미 공간에 매핑한다.
• 음성 특징은 먼저 CTC 기반 압축기로 압축되어 시퀀스 길이가 단축되면서도 관련 정보는 유지된다.
• 압축된 특징은 학습 가능한 음성 인코더를 통해 LLM의 토큰 공간에 임bedding되어 음성과 텍스트에 동시에 조건부로 작용할 수 있도록 한다.
• 비인과적 어텐션 마스크를 적용하여 LLM이 미래의 음성 토큰에도 주목할 수 있도록 하여 표현 학습을 향상시킨다.
• 저차원 적응(LoRA)을 사용해 LLM을 훈련시켜 추가 파라미터 수를 210만 개로 최소화함으로써 훈련 비용을 줄인다.
• 모델은 음성-텍스트 쌍 데이터를 종단 간으로 훈련하며, 이산 음성 토큰이나 계단식 ASR 시스템이 필요로 하지 않는다.

Fig. 1 : High-level architecture of our proposed approach with LLM. The green blocks indicate the part of the LLM. In this work, we only learn parameters in the “Audio Encoder”, keeping everything else frozen.

실험 결과

연구 질문

• RQ1 인코더-디코더 아키텍처 없이도 디코더 중심 LLM 아키텍처가 원시 음성 특징을 효과적으로 통합하여 음성-텍스트 작업을 수행할 수 있는가?
• RQ2 음성 압축 방법의 선택(예: CTC 대 복소형)이 최종 번역 성능에 어떤 영향을 미치는가?
• RQ3 어떤 정도의 어텐션 마스크 설계(인과적 대비 비인과적)가 디코더 중심 아키텍처에서 음성 표현을 모델링하는 데 영향을 미치는가?
• RQ4 LoRA 미세조정을 통해 얼마나 적은 파라미터 업데이트로 성능 향상을 이룰 수 있는가?
• RQ5 랜덤 초기화된 디코더 중심 모델이 강력한 seq2seq 기반 모델과 비교해 경쟁 가능한 성능을 달성할 수 있으며, 더 파라미터 효율적인가?

주요 결과

• 제안된 Speech-LLaMA 모델은 다국어 음성 번역에서 강력한 기준 모델 대비 유의미한 성능 향상을 보였으며, 비인과적 어텐션 마스크와 LoRA 미세조정을 사용할 경우 평균 BLEU 점수 1.5~1.6점 상승을 기록했다.
• 프레임 평균 전략을 사용한 CTC 압축기에서는 블랭크 제거 전략 대비 1.5 BLEU 점수 높은 성능을 기록했으며, 이는 압축 오류에 대한 더 뛰어난 내구성 덕분이었다.
• 비인과적 어텐션 마스크를 적용할 경우 인과적 마스크 대비 1.5 BLEU 점수 상승(블랭크 제거 전략), 0.7 BLEU 점수 상승(프레임 평균 전략)을 기록하여 표현 학습이 향상됨을 시사했다.
• 단지 210만 개의 추가 파라미터로 LoRA 미세조정을 수행했을 때 1.5~1.6 BLEU 점수 상승을 기록하여 적응의 높은 효율성을 입증했다.
• 랜덤 초기화된 디코더 중심 모델은 seq2seq 기반 모델 대비 0.4 BLEU 점수 낮은 성능을 보였지만, 파라미터 수가 40% 적게 사용되어 파라미터 효율성이 확인되었다.
• 초기 결과에 따르면, CTC 압축기 사전 훈련 시 소스 언어의 문장 번역본을 사용할 경우 성능 향상이 더 기대되며, 향후 연구에 유망한 방향성을 제시한다.

Fig. 2 : The architecture of the decoder-only model for the from-scratch training. We use $\langle\text{SOS}\rangle$ token to indicate the starting of the text generation.