[논문 리뷰] Sparks of Large Audio Models: A Survey and Outlook

Siddique Latif, Moazzam Shoukat외 9명|arXiv (Cornell University)|2023. 08. 24.

Music and Audio Processing인용 수 11

한 줄 요약

이 논문은 대형 오디오 모델의 부상, 아키텍처, 작업, 데이터셋, 도전을 분석하고 향후 연구 방향을 제시합니다.

ABSTRACT

This survey paper provides a comprehensive overview of the recent advancements and challenges in applying large language models to the field of audio signal processing. Audio processing, with its diverse signal representations and a wide range of sources--from human voices to musical instruments and environmental sounds--poses challenges distinct from those found in traditional Natural Language Processing scenarios. Nevertheless, extit{Large Audio Models}, epitomized by transformer-based architectures, have shown marked efficacy in this sphere. By leveraging massive amount of data, these models have demonstrated prowess in a variety of audio tasks, spanning from Automatic Speech Recognition and Text-To-Speech to Music Generation, among others. Notably, recently these Foundational Audio Models, like SeamlessM4T, have started showing abilities to act as universal translators, supporting multiple speech tasks for up to 100 languages without any reliance on separate task-specific systems. This paper presents an in-depth analysis of state-of-the-art methodologies regarding extit{Foundational Large Audio Models}, their performance benchmarks, and their applicability to real-world scenarios. We also highlight current limitations and provide insights into potential future research directions in the realm of extit{Large Audio Models} with the intent to spark further discussion, thereby fostering innovation in the next generation of audio-processing systems. Furthermore, to cope with the rapid development in this area, we will consistently update the relevant repository with relevant recent articles and their open-source implementations at https://github.com/EmulationAI/awesome-large-audio-models.

연구 동기 및 목표

• 음성 및 음악에 걸친 오디오 신호 처리에서 대형 인공지능 모델의 응용을 조사한다.
• 기초 대형 오디오 모델과 이들의 교차 모달 가능성을 분석한다.
• 이 분야의 현재 한계와 도전과제 및 유망한 연구 방향을 식별한다.

제안 방법

• 대형 오디오 모델 및 기초 오디오 모델에 대한 최근 문헌을 검토하고 종합한다.
• 오디오 트랜스포머 기반 모델에서 사용되는 아키텍처와 데이터 표현을 요약한다.
• 교차 모달 및 교차 작업 능력, 다중언어 및 번역 측면을 포함하여 논의한다.
• 현재 진전을 이끄는 주요 데이터셋과 학습 전략을 강조한다.

실험 결과

연구 질문

• RQ1 음성 및 음악 작업에서 최신 기술의 대형 오디오 모델은 무엇이며 핵심 기능은 무엇인가?
• RQ2 기초 오디오 모델이 오디오 처리에서 교차 모달 및 다국어 작업을 어떻게 처리하는가?
• RQ3 대형 오디오 모델의 실제 적용을 저해하는 주요 한계와 해결해야 할 도전과제는 무엇인가?
• RQ4 대형 오디오 모델링을 발전시키 위한 가장 유망한 향후 방향과 연구 기회는 무엇인가?

주요 결과

• 본 논문은 음향 신호 처리에 적용된 대형 AI 모델에 대한 최초의 포괄적 조사이다.
• 기초 오디오 모델은 음성 작업에 대해 교차 작업 및 다국어 기능을 가능하게 한다.
• 다양한 최첨단 모델들(예: SpeechGPT, AudioPaLM, AudioLM, MusicGen, SeamlessM4T)이 아키텍처, 데이터, 작업에 대해 분석된다.
• 조사는 한계를 논의하고 대형 오디오 모델링에서 잠재적인 향후 연구 방향을 제시한다.
• 저자들은 진행 중인 연구를 지원하기 위해 오픈 소스 구현이 포함된 공개 저장소를 유지한다.
• 조사는 기초 오디오 모델에서 100개 언어에 걸친 보편적 번역 기능이 등장하고 있음을 강조한다(논의된 바와 같이).