[논문 리뷰] Qwen2-Audio Technical Report

Yunfei Chu, Jin Xu외 10명|arXiv (Cornell University)|2024. 07. 15.

Music Technology and Sound Studies인용 수 4

한 줄 요약

Qwen2-Audio는 사전 훈련, 지시 테이닝, 직접 선호도 최적화에서 자연어 프롬프트를 활용함으로써 음성 이해 및 음성 상호작용 분야에서 최신 기술 수준(SOTA) 성능을 달성하는 대규모 음성-언어 모델입니다. 특별한 작업별 미세조정 없이도 음성 채팅 및 음성 분석 모드 모두에서 뛰어난 성능을 보이며, AIR-Bench 채팅 벤치마크에서 Gemini-1.5-pro를 능가하고 ASR, 음성 번역, 음성 분류 과제에서 SOTA 성과를 달성합니다.

ABSTRACT

We introduce the latest progress of Qwen-Audio, a large-scale audio-language model called Qwen2-Audio, which is capable of accepting various audio signal inputs and performing audio analysis or direct textual responses with regard to speech instructions. In contrast to complex hierarchical tags, we have simplified the pre-training process by utilizing natural language prompts for different data and tasks, and have further expanded the data volume. We have boosted the instruction-following capability of Qwen2-Audio and implemented two distinct audio interaction modes for voice chat and audio analysis. In the voice chat mode, users can freely engage in voice interactions with Qwen2-Audio without text input. In the audio analysis mode, users could provide audio and text instructions for analysis during the interaction. Note that we do not use any system prompts to switch between voice chat and audio analysis modes. Qwen2-Audio is capable of intelligently comprehending the content within audio and following voice commands to respond appropriately. For instance, in an audio segment that simultaneously contains sounds, multi-speaker conversations, and a voice command, Qwen2-Audio can directly understand the command and provide an interpretation and response to the audio. Additionally, DPO has optimized the model's performance in terms of factuality and adherence to desired behavior. According to the evaluation results from AIR-Bench, Qwen2-Audio outperformed previous SOTAs, such as Gemini-1.5-pro, in tests focused on audio-centric instruction-following capabilities. Qwen2-Audio is open-sourced with the aim of fostering the advancement of the multi-modal language community.

연구 동기 및 목표

• 다양한 음성 입력을 위한 대규모 음성-언어 모델(LALMs)의 지시 따르기 능력을 향상시키기.
• 두 가지 통합된 음성 상호작용 모드인 음성 채팅과 음성 분석을 통해 모드에 구애받지 않는 원활한 상호작용을 가능하게 하기.
• 계층적 작업 태그를 자연어 프롬프트로 대체하여 사전 훈련 파이프라인을 단순화하고, 훈련 효율성과 일반화 능력을 향상시키기.
• 직접 선호도 최적화(DPO)를 통해 응답 품질과 사실적 일관성을 향상시키기.
• 작업별 미세조정 없이도 다양한 음성 중심 벤치마크에서 최신 기술 수준의 성능을 달성하기.

제안 방법

• 사전 훈련에서 자연어 프롬프트를 사용해 다양한 데이터와 과제를 통합하여 복잡한 계층적 태그를 대체합니다.
• 음성 인코더는 Whisper-large-v3에서 초기화되며, 16kHz 음성을 128채널 멜스펙트로그램으로 처리하고 시간 해상도는 40ms입니다.
• 이중 단계 훈련 과정으로, 고품질의 다양한 지시 데이터를 사용한 감독 미세조정(SFT)과 인간 선호도에 맞추기 위한 직접 선호도 최적화(DPO)가 포함됩니다.
• 모델은 조건부 언어 모델링 목적을 사용합니다: 음성 표현과 이전 텍스트 토큰을 고려해 다음 텍스트 토큰의 확률을 최대화합니다.
• 음성 입력은 시퀀스 길이를 줄이면서도 시간 해상도를 유지하기 위해 스트라이드 2의 풀링 레이어를 거칩니다.
• 모델는 명시적인 시스템 프롬프트 없이도 음성 채팅 및 음성 분석 기능 모드로 작동합니다.

Figure 1 : Performance of Qwen2-Audio, Qwen-Audio and previous top-tiers from LALMs such as SpeechT5 (Ao et al., 2021 ) , SpeechNet (Chen et al., 2021 ) , SpeechLLaMA (Wu et al., 2023a ) , SALMONN (Tang et al., 2024 ) , Whisper (Radford et al., 2023 ) Pengi (Deshmukh et al., 2023 ) , and SpeechVerse

실험 결과

연구 질문

• RQ1 자연어 프롬프트가 사전 훈련에서 계층적 작업 태그를 대체할 수 있을까? 이는 훈련 파이프라인을 단순화하고 LALMs의 일반화 능력을 향상시킬 수 있는가?
• RQ2 통합된 음성-언어 모델이 작업별 미세조정 없이도 음성 채팅과 음성 분석 양쪽에서 뛰어난 성능을 달성할 수 있는가?
• RQ3 직접 선호도 최적화(DPO)는 음성-언어 생성에서 사실적 일관성과 인간 선호도에 대한 일치를 어떻게 향상시키는가?
• RQ4 Qwen2-Audio는 다중 도메인 음성 벤치마크에서, 특히 복잡한 혼합 음성 상황에서 어떤 성능을 보이는가?
• RQ5 Qwen2-Audio는 Gemini-1.5-pro 및 Whisper-large-v3와 같은 기존 SOTA 모델보다 지시 따르기 및 음성 이해 과제에서 뛰어난 성능을 보이는가?

주요 결과

• LibriSpeech test-clean에서 Qwen2-Audio는 1.6%의 WER를 기록했고, test-other에서는 3.6%의 WER를 기록하여 이전 모델들을 능가했습니다.
• CoVoST2에서 Qwen2-Audio는 모든 일곱 개의 번역 방향에서 평균 BLEU 점수 기준으로 최고 성능을 기록했으며, 이는 이전 베이스라인을 뛰어넘었습니다.
• VSC 과제에서 Qwen2-Audio는 0.9392의 정확도를 기록했으며, Qwen-Audio(0.9289)와 Pengi(0.6035)를 크게 앞서며 뛰어난 성능을 보였습니다.
• AIR-Bench 채팅 벤치마크에서 Qwen2-Audio는 음성 하위 집합에서 7.18점, 소리에서 6.99점, 음악에서 6.79점, 혼합 음성에서 6.77점의 점수를 기록했으며, Gemini-1.5-pro 및 기타 SOTA 모델을 능가했습니다.
• SER 과제에서 Qwen2-Audio는 Meld 데이터셋에서 0.553의 정확도를 기록했으며, Qwen-Audio(0.557)를 능가하고 WavLM-large(0.542)를 뛰어넘었습니다.
• Qwen2-Audio는 혼합 음성 분석에서 뛰어난 강건성을 보였으며, 명시적인 분할 없이도 복잡한 다중 소스 음성 클립에서 명령어와 소리를 정확히 식별할 수 있었습니다.

Figure 2 : The overview of three-stage training process of Qwen2-Audio.