[논문 리뷰] Data Augmentation for Instrument Classification Robust to Audio Effects

António Ramires, Xavier Serra|arXiv (Cornell University)|2019. 07. 19.

Music and Audio Processing참고 문헌 27인용 수 6

한 줄 요약

이 논문은 전자음악 제작에서 흔히 사용되는 오디오 에프ekt를 적용한 사운드에 대해 최신 딥러닝 모델의 기능 분류 정확도에 대한 내성적 성능을 평가한다. 중간 처리 기법으로 휘도, 리버브, 색조 등의 효과를 적용한 데이터 증강 기법을 통해 분류 정확도가 향상됨을 보여주지만, 리버브나 포화와 같은 효과에 대해서는 여전히 모델이 매우 민감하게 반응함을 확인하여, 보다 다양한 증강 전략이 필요함을 시사한다.

ABSTRACT

Reusing recorded sounds (sampling) is a key component in Electronic Music Production (EMP), which has been present since its early days and is at the core of genres like hip-hop or jungle. Commercial and non-commercial services allow users to obtain collections of sounds (sample packs) to reuse in their compositions. Automatic classification of one-shot instrumental sounds allows automatically categorising the sounds contained in these collections, allowing easier navigation and better characterisation. Automatic instrument classification has mostly targeted the classification of unprocessed isolated instrumental sounds or detecting predominant instruments in mixed music tracks. For this classification to be useful in audio databases for EMP, it has to be robust to the audio effects applied to unprocessed sounds. In this paper we evaluate how a state of the art model trained with a large dataset of one-shot instrumental sounds performs when classifying instruments processed with audio effects. In order to evaluate the robustness of the model, we use data augmentation with audio effects and evaluate how each effect influences the classification accuracy.

연구 동기 및 목표

• 일괄적인 악기 음색을 가진 사운드에 일반적인 오디오 에프ekt를 적용했을 때 최신 기능 분류 모델의 내성적 성능을 평가하기 위해.
• 오디오 에프ekt를 활용한 데이터 증강이 비처리된 음원과 처리된 음원 모두에서 모델의 일반화 능력과 분류 정확도 향상에 기여하는지 조사하기 위해.
• 기능 분류 성능을 가장 심각하게 떨어뜨리는 오디오 에프ekt와 가장 유익한 증강 기법을 특정하기 위해.
• 현재 모델이 오디오 에프ekt에 의해 유도되는 음색의 다양성에 대해 일반화하는 데에 한계를 보이는지 탐색하기 위해.

제안 방법

• 연구는 다양한 음색과 톤을 가진 일괄적인 악기 음색을 포함하는 대규모 데이터셋인 NSynth를 사용한다.
• 로그 멜스펙트로그램을 기반으로 훈련된 컨볼루션 신경망(CNN) 모델을 최신 기준 기능 분류기로 사용한다.
• 훈련 세트는 휘도, 리버브, 색조, 플랑저, 에코, 포화, 톤 옮김, 색조 등 8종의 일반적인 오디오 에프ekt를 다양한 파rameter 설정으로 적용하여 증강한다.
• 각 증강된 훈련 세트로 모델을 미세조정하고, 비처리된 테스트 세트와 효과 처리된 테스트 세트에서 평가한다.
• 분류 정확도를 측정하여, 다양한 효과 유형에서 증강 여부에 따라 모델 성능을 비교한다.
• 다양한 효과 구현 방식을 가진 훈련 및 테스트 세트 간의 성능 차이를 분석하여 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 일괄적인 악기 음색에 일반적인 오디오 에프ekt를 적용했을 때 최신 기능 분류 모델의 분류 정확도는 얼마나 떨어지는가?
• RQ2 어느 오디오 에프ekt가 분류 정확도를 가장 심각하게 떨어뜨리며, 어느 것은 최소한의 영향 또는 긍정적인 영향을 미치는가?
• RQ3 오디오 에프ekt를 활용한 데이터 증강이 비처리된 테스트 데이터에서의 모델 정확도 향상에 기여하는가?
• RQ4 증강된 데이터로 훈련한 모델이 훈련 중에 볼 수 없었던 효과를 가진 음원을 분류할 때 내성적 성능이 향상되는가?

주요 결과

• 기준 모델은 비처리된 테스트 세트에서 73.78%의 정확도를 기록했으며, 무거운 휘도 증강을 통해 훈련한 경우 74.73%로 상승하였다.
• 증강에 의해 가장 큰 향상을 보인 효과는 색조(0.6436 정확도)와 무거운 휘도(증강된 테스트 세트에서 0.3518)였으며, 이는 효과 기반 데이터 증강의 일부 유용성을 시사한다.
• 처리된 테스트 세트에서는 정확도가 크게 떨어졌으며, 리버브(-59.6%), 포화(-28.3%), 에코(-29.8%)에서 가장 큰 감소가 관찰되었다.
• 플랑저와 톤 옮김에 대해서는 상대적으로 높은 내성적 성능을 보였으며, 이 효과들이 적용된 테스트 세트에서 정확도 감소가 4% 이하로 나타났다.
• 증강된 데이터로 훈련한 모델는 해당 효과(예: 무거운 휘도)에 대해 성능 향상을 보였지만, 다른 효과로의 일반화 능력은 떨어져 전이 가능성은 제한적임을 보였다.
• 연구는 훈련 세트와 테스트 세트 간의 오디오 에프ekt 구현 방식의 차이가 일반화 능력 향상을 저해할 수 있음을 밝혀내었으며, 더 다양한 증강 전략이 필요함을 강조한다.