[論文レビュー] Sparks of Large Audio Models: A Survey and Outlook

Siddique Latif, Moazzam Shoukat+9 more|arXiv (Cornell University)|Aug 24, 2023

Music and Audio Processing被引用数 11

ひとこと要約

この論文は大規模な音声モデルの台頭を概説し、アーキテクチャ、タスク、データセット、課題を分析し、今後の研究方向を概説します。

ABSTRACT

This survey paper provides a comprehensive overview of the recent advancements and challenges in applying large language models to the field of audio signal processing. Audio processing, with its diverse signal representations and a wide range of sources--from human voices to musical instruments and environmental sounds--poses challenges distinct from those found in traditional Natural Language Processing scenarios. Nevertheless, extit{Large Audio Models}, epitomized by transformer-based architectures, have shown marked efficacy in this sphere. By leveraging massive amount of data, these models have demonstrated prowess in a variety of audio tasks, spanning from Automatic Speech Recognition and Text-To-Speech to Music Generation, among others. Notably, recently these Foundational Audio Models, like SeamlessM4T, have started showing abilities to act as universal translators, supporting multiple speech tasks for up to 100 languages without any reliance on separate task-specific systems. This paper presents an in-depth analysis of state-of-the-art methodologies regarding extit{Foundational Large Audio Models}, their performance benchmarks, and their applicability to real-world scenarios. We also highlight current limitations and provide insights into potential future research directions in the realm of extit{Large Audio Models} with the intent to spark further discussion, thereby fostering innovation in the next generation of audio-processing systems. Furthermore, to cope with the rapid development in this area, we will consistently update the relevant repository with relevant recent articles and their open-source implementations at https://github.com/EmulationAI/awesome-large-audio-models.

研究の動機と目的

• 音声および音楽の分野における大規模AIモデルの音響信号処理アプリケーションを調査する。
• 基盤的な大規模音声モデルとそれらのクロスモーダル能力を分析する。
• この分野の現状の制約、課題、有望な研究方向を特定する。

提案手法

• 大規模音声モデルと基盤的音声モデルに関する最近の文献をレビューし統合する。
• 音声トランスフォーマーベースモデルで使用されるアーキテクチャとデータ表現を要約する。
• クロスモーダル・クロス・タスク能力を含むマルチモーダルとタスク間の能力を議論する。言語間翻訳の側面も含む。
• 現在の進展を牽引する主要データセットとトレーニング戦略を強調する。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端の大規模音声モデルと、それらの音声・音楽タスクにおける核心的能力は何か？
• RQ2 基盤的な音声モデルは音声処理の中でのクロスモーダルおよび多言語タスクにどのように対処しているのか？
• RQ3 大規模音声モデルの実世界導入を妨げる主な制限と未解決課題は何か？
• RQ4 今後の方向性と研究機会のうち、大規模音声モデリングを進展させる上で最も有望なものは何か？

主な発見

• 本論文は音声信号処理に適用された大規模AIモデルの初の包括的調査を提供する。
• 基盤的音声モデルは音声タスクに対するクロス・タスクおよび多言語機能を可能にする。
• 最先端モデルの範囲（例：SpeechGPT、AudioPaLM、AudioLM、MusicGen、SeamlessM4T）をアーキテクチャ、データ、タスクの観点で分析する。
• 調査は制限を論じ、大規模音声モデリングの将来の研究方向を概説する。
• 著者らはオープンソース実装をサポートする公開リポジトリを維持している。
• 調査は基盤的音声モデルでの普遍的な翻訳能力が100言語にわたって出現していることを強調する（議論されているように）。