[논문 리뷰] TensorFlow Audio Models in Essentia

Pablo Alonso-Jiménez, Dmitry Bogdanov외 2명|arXiv (Cornell University)|2020. 03. 16.

Music and Audio Processing인용 수 1

한 줄 요약

이 논문은 텐서플로우 딥러닝 모델을 C++ 기반으로 에세니티아 오디오 분석 라이브러리에 통합하여, 음악 태깅 및 분류를 위한 사전 훈련된 CNN을 실시간으로 빠르게 추론할 수 있도록 한다. 주요 기여는 기존의 SVM 기반 모델에 비해 일반화 능력이 크게 향상되었으며, 특히 AudioSet 사전 훈련 모델을 활용한 전이 학습 시에 두드러진다.

ABSTRACT

Essentia is a reference open-source C++/Python library for audio and music analysis. In this work, we present a set of algorithms that employ TensorFlow in Essentia, allow predictions with pre-trained deep learning models, and are designed to offer flexibility of use, easy extensibility, and real-time inference. To show the potential of this new interface with TensorFlow, we provide a number of pre-trained state-of-the-art music tagging and classification CNN models. We run an extensive evaluation of the developed models. In particular, we assess the generalization capabilities in a cross-collection evaluation utilizing both external tag datasets as well as manual annotations tailored to the taxonomies of our models.

연구 동기 및 목표

• 이전에 기계 학습 기반 모델에 의존했던 에세니티아와 같은 오디오 분석 소프트웨어에서 효율적이고 모듈화된 딥러닝 통합의 부족을 해결한다.
• 고성능 C++/파이썬 오디오 분석 프레임워크 내에서 사전 훈련된 딥러닝 모델의 실시간·계산 효율적인 추론을 가능하게 한다.
• 전이 학습을 활용하여 제한된 내부 데이터셋에서 음악 태깅 및 분류 모델의 일반화 능력을 향상시킨다.
• 오디오 특징 추출(에세니티아)과 딥러닝 추론(텐서플로우)를 연결하는 유연하고 확장 가능한 파이프라인을 제공한다.

제안 방법

• 실시간 추론을 위한 저메모리 오버헤드를 제공하는 C++ 기반 인터페이스를 에세니티아에 신규로 개발하여 텐서플로우 모델을 로드하고 실행한다.
• 링 버퍼를 사용한 스트리밍 모드를 구현하여 오디오를 청크 단위로 처리함으로써 실시간 및 대규모 배치 처리를 지원한다.
• 사전 훈련된 VGG-II 모델을 AudioSet에서 가져와 고정된 특징 추출기로 활용하고, 소규모 내부 데이터셋에서 미세조정하여 전이 학습을 구현한다.
• 장르, 분위기, 고수준 음악 기술적 설명 등의 작업을 위해 내부 데이터셋에서 여러 CNN 아키텍처(예: VGG-II)를 훈련하고 평가한다.
• 기존 오디오 특징 추출 워크플로우와의 원활한 통합을 위해 모델을 에세니티아의 선언적 신호 처리 파이프라인에 통합한다.
• 수동으로 레이블링된 참값을 포함한 5겹 교차 검증 및 외부 데이터셋(예: MTG-Jamendo-test)에서의 교차 컬렉션 평가를 통해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 에세니티아와 같은 C++ 기반 오디오 분석 라이브러리에서 실시간 추론을 위해 사전 훈련된 딥러닝 모델을 효율적이고도 탄력적으로 통합할 수 있는가?
• RQ2 대규모 사전 훈련된 모델(예: AudioSet)을 활용한 전이 학습은 소규모 내부 음악 데이터셋에서 기존의 SVM 모델에 비해 일반화 능력을 얼마나 향상시키는가?
• RQ3 새로운 딥러닝 모델은 교차 컬렉션 평가에서 기존의 SVM 기반 분류기보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 텐서플로우를 에세니티아에 통합함으로써 산업적 음악 정보 검색 애플리케이션에 적합한 확장성 있고 저지연 추론을 달성할 수 있는가?

주요 결과

• AudioSet 사전 훈련을 거친 VGG-II 모델은 교차 컬렉션 평가에서 모든 작업에서 가장 높은 균형 정확도를 기록했으며, SVM 기반 기준 모델과 사전 훈련되지 않은 모델보다 뛰어난 성능을 보였다.
• MTG-Jamendo-test의 수동 레이블링된 서브셋에서, VGG-II (AudioSet) 모델은 장르-dortmund에 대해 균형 정확도 0.48을 기록했으며, SVM 기준 모델의 0.19보다 높았다.
• 분위기 분류 작업에서는 VGG-II (AudioSet) 모델이 mood-acoustic에 대해 균형 정확도 0.82를 기록했고, SVM 기준 모델의 0.75보다 높았다.
• 보이스/악기 분류 모델은 수동 테스트 세트에서 균형 정확도 0.87을 기록했으며, SVM 기준 모델의 0.72보다 뚜렷하게 뛰어났다.
• 최소한의 초모수 튜닝에도 불구하고, 딥러닝 모델은 12개 작업 중 10개에서 수동 레이블링된 테스트 세트에서 SVM 모델보다 통계적으로 유의미한 성능 향상을 보였다.
• 음악에 특화되지 않은 AudioSet 사전 훈련 모델이 광범위하고 다양한 학습 데이터 덕분에 상태 기준 성능을 달성했다.