[논문 리뷰] LLark: A Multimodal Instruction-Following Language Model for Music

Josh Gardner, Simon Durand외 2명|arXiv (Cornell University)|2023. 10. 11.

Music and Audio Processing인용 수 4

한 줄 요약

LLARK는 사전 학습된 생성형 오디오 인코더와 고정된 언어 모델을 가진 다중모odal 지시 따르기 언어 모델로, 훈련 가능한 투영 헤드를 통해 통합되어 다양한 오픈소스 음악 데이터셋에서 엔드 투 엔드 지시 훈련을 가능하게 한다. 음악 이해, 캡션 생성, 추론 작업에서 최신 기술 수준의 성능을 달성하며, 생성된 응답에 대해 높은 인간 일치도를 보인다.

ABSTRACT

Music has a unique and complex structure which is challenging for both expert humans and existing AI systems to understand, and presents unique challenges relative to other forms of audio. We present LLark, an instruction-tuned multimodal model for \emph{music} understanding. We detail our process for dataset creation, which involves augmenting the annotations of diverse open-source music datasets and converting them to a unified instruction-tuning format. We propose a multimodal architecture for LLark, integrating a pretrained generative model for music with a pretrained language model. In evaluations on three types of tasks (music understanding, captioning, reasoning), we show that LLark matches or outperforms existing baselines in music understanding, and that humans show a high degree of agreement with its responses in captioning and reasoning tasks. LLark is trained entirely from open-source music data and models, and we make our training code available along with the release of this paper. Additional results and audio examples are at https://bit.ly/llark, and our source code is available at https://github.com/spotify-research/llark .

연구 동기 및 목표

• 다양한 음악적 특성과 작업에 걸쳐 일반화할 수 있는 음악 이해를 위한 다중 작업, 지시 훈련 모델의 부족을 해결하기 위해.
• 노이즈가 많고 정렬되지 않은 오픈소스 음악 데이터셋을 풍부한 음악 주석이 있는 통합 지시 훈련 형식으로 변환하는 확장 가능한 엔드 투 엔드 파이프라인을 개발하기 위해.
• 사전 학습된 구성 요소와 학습 가능한 투영 모듈을 사용하여 음악에서 지시 따르기 작업을 위한 효과적인 오디오 및 텍스트 표현을 융합하는 다중모달 아키텍처를 설계하기 위해.
• 분류, 캡션 생성, 추론과 같은 다양한 음악 작업에서 모델 성능을 평가하여 광범위한 일반화 및 인간 기준에 부합하는 출력을 입증하기 위해.
• 재현 가능성과 오픈소스 음악 AI 분야의 추가 연구를 가능하게 하기 위해 훈련 코드와 모델 가중치를 공개하기 위해.

제안 방법

• 모델은 고정된 사전 학습된 오디오 인코더(예: 음악용)와 고정된 사전 학습된 언어 모델을 결합한 다중모달 아키텍처를 사용하며, 오디오 임베딩을 언어 모델의 토큰 공간에 맞추기 위해 학습 가능한 투영 헤드를 포함한다.
• 훈련 데이터는 기존 오픈소스 음악 데이터셋에 음악 이해(예: 키, 비트수), 캡션 생성, 추론 질의와 같은 작업별 지시를 추가하여 구성된다.
• 지시문은 오디오 입력과 다양한 텍스트 질의 간의 일치를 보장하는 구조화된 레시피를 통해 생성되어, 다양한 작업 간의 일반화 능력을 향상시킨다.
• 모델는 언어 모델 헤드에서 다음 토큰 예측에 대한 손실을 계산함으로써 지시 훈련 목표를 사용해 엔드 투 엔드로 미세조정된다.
• 데이터 증강에는 지시 템플릿에 음악 메타데이터(예: 키, BPM, 악기 구성)를 통합하여 핵심 음악적 특성에 대한 모델 이해도를 향상시키는 것이 포함된다.
• 평가에는 자동 벤치마크와 인간 연구가 포함되어 캡션 생성 및 추론 작업에서 응답 품질, 일관성, 인간 판단과의 일치도를 평가한다.

실험 결과

연구 질문

• RQ1 다양하고 노이즈가 많으며 정렬되지 않은 오픈소스 음악 데이터셋을 다중 작업, 지시 따르기 형식으로 효과적으로 변환할 수 있는 통합 지시 훈련 프레임워크가 가능한가?
• RQ2 사전 학습된 오디오 인코더와 언어 모델을 조합한 다중모달 아키텍처가 작업별 특화 기준 모델에 비해 다양한 음악 이해 작업에서 얼마나 잘 수행되는가?
• RQ3 LLARK의 출력이 캡션 생성 및 추론 작업에서 인간 판단과 어느 정도 일치하는가?
• RQ4 데이터 규모와 모델 구성 요소가 성능에 미치는 영향은 무엇이며, 이는 추이적 분석을 통해 어떻게 확인되는가?
• RQ5 완전히 오픈소스 훈련 파이프라인을 통해 기존 비공개 데이터 없이도 최신 기술 수준의 모델 성능을 달성할 수 있는가?

주요 결과

• LLARK는 음악 이해, 캡션 생성, 추론의 세 가지 작업 유형에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 벤치마크 데이터셋에서 기존 베이스라인을 모두 능가한다.
• 인간 평가 결과, LLARK의 응답과 인간이 주석한 캡션 및 추론 출력 간에 높은 일치도를 보이며, 인간 인지와의 강한 일치를 나타낸다.
• 모델는 복잡한 음악 스타일과 역사적 시대 특성(예: 바ロック 시대의 특징)에 대한 복잡한 추론 작업에서도 강력한 zero-shot 일반화 능력을 보인다.
• 추이적 분석 결과, 오디오 인코더와 다중모달 투영 헤드 모두 성능 향상에 기여하며, 특히 효과적인 다중모달 일치를 위해 투영 헤드가 핵심적인 역할을 한다.
• 훈련 데이터 규모가 증가할수록 모델 성능이 향상되어 지시 훈련 환경에서 양호한 스케일링 행동을 보임을 확인했다.
• LLARK는 완전히 오픈소스 데이터와 모델로만 훈련되었으며, 훈련 코드와 가중치가 공개되어 재현 가능성과 커뮤니티 기반 확장이 가능하다.