[논문 리뷰] HEAR: Holistic Evaluation of Audio Representations

Joseph Turian, Jordie Shier외 21명|arXiv (Cornell University)|2022. 03. 06.

Music and Audio Processing인용 수 36

한 줄 요약

HEAR 벤치마크는 공용 오디오 표현을 평가하기 위해 29개 모델을 19개의 다양한 태스크에서 평가하며, 음성, 환경 음향, 음악에 걸쳐 공통 API와 다운스트림 분류기를 위한 고정 임베딩을 사용합니다.

ABSTRACT

What audio embedding approach generalizes best to a wide range of downstream tasks across a variety of everyday domains without fine-tuning? The aim of the HEAR benchmark is to develop a general-purpose audio representation that provides a strong basis for learning in a wide variety of tasks and scenarios. HEAR evaluates audio representations using a benchmark suite across a variety of domains, including speech, environmental sound, and music. HEAR was launched as a NeurIPS 2021 shared challenge. In the spirit of shared exchange, each participant submitted an audio embedding model following a common API that is general-purpose, open-source, and freely available to use. Twenty-nine models by thirteen external teams were evaluated on nineteen diverse downstream tasks derived from sixteen datasets. Open evaluation code, submitted models and datasets are key contributions, enabling comprehensive and reproducible evaluation, as well as previously impossible longitudinal studies. It still remains an open question whether one single general-purpose audio representation can perform as holistically as the human ear.

연구 동기 및 목표

• 다양한 태스크에서 미세조정 없이 전이되는 단일 일반-purpose 오디오 표현의 필요성 동기 부여.
• 여러 도메인에 걸친 오디오 표현에 대한 광범위하고 개방적이며 재현 가능한 평가 프레임워크 제공.
• 공통 API, 개방 데이터셋, 교차 모델 비교를 위한 평가 코드 제공으로 빠른 반복 가능성 향상.

제안 방법

• 다양한 모델의 임베딩을 다운스트림 작업으로 래핑하기 위한 공용 HEAR API 제공.
• 고정 임베딩을 얕은 MLP에 입력하여, 두 가지 태스크 유형인 장면 기반 분류와 타임스탬프 기반 음원 이벤트 탐지로 임베딩을 평가.
• 재현성을 촉진하기 위해 표준 분할과 오픈 라이선스를 가진 공통 형식으로 데이터세트를 전처리.
• 교차모델 비교와 종단 간 연구를 가능하게 하기 위해 오픈 소스 평가 코드와 표준화된 전처리 사용.

실험 결과

연구 질문

• RQ1 단일의 일반-purpose 오디오 표현이 음성, 환경 소음, 음악 태스크 전반에서 holistically하게 수행할 수 있는가?
• RQ2 다른 사전학습 방식(감독학습 vs 자기지도, 단일 도메인 vs 다중 모드)이 태스크 간 전이성에 어떤 영향을 미치는가?
• RQ3 어떤 임베딩의 층이나 융합 전략이 미세조정 없이 최상의 일반화를 제공하는가?

주요 결과

• 전달에 대해 최종 층뿐 아니라 비최종 레이어나 융합 레이어에서 이점이 있는 경우가 다수로 나타남.
• 피치 특화 임베딩(CREPE 등)을 포함한 모델은 NSynth Pitch 및 Maestro 같은 피치 관련 태스크에서 좋은 성능을 보임.
• AudioSet 사전학습된 시맨틱-오브젝트 태깅 모델은 ESC-50 및 GTZAN 장르 태깅과 같은 광범위 도메인 태스크에서의 성능과 상관관계가 있음.
• CP-JKU PaSST 모델은 미세조정 없이 FSD50K에서 최상위 평균 정확도(mean average precision)를 달성.
• 강력한 음성 모델은 종종 감정 인식 및 언어 식별과 같은 음성 관련 태스크에서 뛰어남.
• 벤치마크는 개방성, 재현성, 진정한 전체적 오디오 표현의 도전의 중요성을 강조.