[논문 리뷰] Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities

Zhifeng Kong, Arushi Goel외 4명|arXiv (Cornell University)|2024. 02. 02.

Speech and dialogue systems인용 수 4

한 줄 요약

Audio Flamingo는 대규모 언어 모델과 효율적인 크로스 어텐션 융합을 통해 음성 이해 분야에서 최신 기술 성능을 달성하는 새로운 음성 언어 모델이다. 이는 파인튜닝 없이도 컨텍스트 내 학습, 리트리ieval 기반 생성, 다중 턴 대화를 가능하게 하며, 이는 더 적은 파라미터로도 다양한 벤치마크에서 이전 모델들을 능가한다.

ABSTRACT

Augmenting large language models (LLMs) to understand audio -- including non-speech sounds and non-verbal speech -- is critically important for diverse real-world applications of LLMs. In this paper, we propose Audio Flamingo, a novel audio language model with 1) strong audio understanding abilities, 2) the ability to quickly adapt to unseen tasks via in-context learning and retrieval, and 3) strong multi-turn dialogue abilities. We introduce a series of training techniques, architecture design, and data strategies to enhance our model with these abilities. Extensive evaluations across various audio understanding tasks confirm the efficacy of our method, setting new state-of-the-art benchmarks. Our demo website is https://audioflamingo.github.io/ and the code is open-sourced at https://github.com/NVIDIA/audio-flamingo.

연구 동기 및 목표

• 대규모 언어 모델(LM)에 음성 번역을 넘어서 비음성 및 비어법적 소리까지 포함한 강력한 음성 이해 능력을 통합한다.
• 파인튜닝 없이도 컨텍스트 내 학습(ICL)과 리트리ieval 기반 생성(RAG)을 통해 새로운 음성 작업에 소수의 예시로 적응할 수 있도록 한다.
• 정제된, 맥락이 풍부한 대화 데이터셋과 지도형 파인튜닝을 통해 강력한 다중 턴 대화 기능을 제공한다.
• 이전 모델들이 닫힘형과 열림형 음성 작업 간 성능를 상호 보완하지 못하는 한계를 극복한다.

제안 방법

• 변동 길이의 음성 입력에서 시간 정보를 유지하기 위해 Elizalde 등(2023b)의 슬라이딩 윈도우 기반 음성 특징 추출기를 도입한다.
• 크로스 어텐션 메커니즘을 사용해 LLM을 음성 특징에 조건화함으로써, 이전 방법의 제곱형 복잡도와는 달리 음성 토큰 수에 대해 선형 복잡도를 달성한다.
• 이중 단계 훈련 파이프라인을 활용: 약 590만 개의 음성-텍스트 쌍으로 이루어진 이질적인 데이터셋에서의 사전 훈련, 이후 작업별 데이터에서의 지도형 파인튜닝(SFT) 수행.
• 통합된 컨텍스트 내 학습 샘플을 위한 새로운 크로스 어텐션 마스크를 설계해 검색된 예시를 바탕으로 한 추론 성능을 향상시킨다.
• 검색된 예시와 구조화된 프롬프트 템플릿을 사용해 통합된 ICL 데이터셋을 구성함으로써 소수의 예시 일반화를 가능하게 한다.
• GPT-4를 활용해 맥락이 풍부하고 주석이 달린 대화를 생성하여 두 가지의 다중 터미널 대화 데이터셋을 구축하고, Audio Flamingo의 대화 성능 향상을 위해 파인튜닝을 수행한다.

Figure 1 : Audio Flamingo versus previous state-of-the-art (Deshmukh et al., 2023 ; Chu et al., 2023 ; Gong et al., 2023b , c ; Tang et al., 2023a ; Ghosh et al., 2023 ) on a number of audio understanding benchmarks. The numbers are normalized such that the maximum of all models is $100\%$ on each t

실험 결과

연구 질문

• RQ1 단일 음성 언어 모델이 닫힘형 및 열림형 벤치마크를 포함한 다양한 음성 이해 작업에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 특정 작업에 맞는 파인튜닝 없이도 컨텍스트 내 학습과 리트리ieval을 통해 새로운 작업에 일반화할 수 있는가?
• RQ3 강력한 추론 능력과 대화 기록에 대한 기억을 갖춘 맥락 인식 가능한 다중 터미널 대화를 지원하는가?
• RQ4 기존 방법과 비교해 모델의 아키텍처 및 훈련 전략이 파라미터 효율성과 성능 측면에서 어떻게 우월한가?

주요 결과

• Audio Flamingo는 다양한 음성 이해 벤치마크에서 이전 모델들, 특히 Chu 등(2023)과 Gong 등(2023c)의 모델들을 능가하는 새로운 최고 성능을 기록했다.
• 이전 최고 성능 모델들보다 파라미터 수의 1/3 미만으로도 최고 성능를 달성하여 뛰어난 파라미터 효율성을 입증했다.
• 소수의 예시 학습 환경에서, 조건부로 노이즈가 있거나 잘못된 검색 예시가 있어도 음악 장르(예: 팝)와 악기(예: 플루트)를 정확히 식별한다.
• 대화 모델 버전은 기존 모델들보다 다중 터미널 대화에서 뛰어난 성능을 보이며, 겹치는 새의 울음과 말소리를 정확히 식별하고, 음성 특성과 음악 장르를 정확히 묘술한다.
• 복잡한 음성 장면에서의 해석 능력이 뛰어나, 새의 울음, 동물의 소리, 인간의 말소리를 정확히 구분하고 겹치는 사건도 정확히 식별한다.
• 리트리ieval 기반 컨텍스트 내 학습을 통해, 검색된 예시가 일부 잘못되었을 경우에도 정확한 추론이 가능해 일반화 능력과 노이즈에 대한 내성 강도를 입증한다.

Figure 2 : Neural architecture of Audio Flamingo. It takes interleaved audio and text as input and outputs free-form text.