[논문 리뷰] Revisiting Singing Voice Detection: a Quantitative Review and the Future Outlook

Kyungyun Lee, Keunwoo Choi외 1명|arXiv (Cornell University)|2018. 06. 04.

Music and Audio Processing참고 문헌 15인용 수 21

한 줄 요약

이 논문은 최신의 음성 탐지(VD) 시스템 세 종류에 대한 정량적 오류 분석을 수행하여, 주로 주파수 변동을 보이는 악기와 낮은 신호 대 잡음비(SNR)가 주요 실패 원인임을 밝혀냈다. 정제된 및 합성된 오디오 데이터를 사용하여 현재 시스템이 이러한 조건에서 취약함을 입증하고, 향후 방향으로 다트랙크 데이터 사용, SNR에 대한 내성 훈련, 개선된 전처리 방법을 제안하여 시스템의 일반화 능력과 실제 환경에서의 성능을 향상시키고자 한다.

ABSTRACT

Since the vocal component plays a crucial role in popular music, singing voice detection has been an active research topic in music information retrieval. Although several proposed algorithms have shown high performances, we argue that there still is a room to improve to build a more robust singing voice detection system. In order to identify the area of improvement, we first perform an error analysis on three recent singing voice detection systems. Based on the analysis, we design novel methods to test the systems on multiple sets of internally curated and generated data to further examine the pitfalls, which are not clearly revealed with the current datasets. From the experiment results, we also propose several directions towards building a more robust singing voice detector.

연구 동기 및 목표

• 높은 성능 지표가 보고됨에도 불구하고 최근 음성 탐지(VD) 시스템에 지속적인 약점을 규명하는 것.
• 현재 VD 시스템이 낮은 SNR와 비음성 떨림과 같은 실제 오디오 조건에 얼마나 잘 일반화되는지 조사하는 것.
• 오디오 표현 방식과 전처리 선택 사항이 VD 시스템의 내성에 어떤 영향을 미치는지 평가하는 것.
• 특히 다트랙크 데이터와 SNR 증강 훈련을 활용하여 더 내성적이고 일반화 능력이 뛰어난 VD 시스템을 구축하기 위한 향후 연구 방향을 제안하는 것.
• '노래하는 음성'을 정의하는 데의 모호함을 명확히 하고, 데이터셋에서 계층적 음성 구성 요소 애너테이션을 도입할 것을 주장하는 것.

제안 방법

• 수작업 특징을 사용하는 FE-VD, 컨볼루션 신경망을 사용하는 CNN-VD, 순환 신경망을 사용하는 RNN-VD를 포함한 최근 세 가지 VD 시스템에 대한 세밀한 오류 분석을 수행한다.
• 표준 벤치마크를 초월해 시스템의 내성을 시험하기 위해 제어된 떨림과 다양한 SNR를 가진 합성 오디오를 생성한다.
• Jamendo, RWC, MIR-1K, MedleyDB를 포함한 정제된 데이터셋을 사용하여 다양한 오디오 조건에서의 시스템 행동을 비교한다.
• SNR가 변하는 테스트 세트를 데이터 증강 수단으로 활용하여, 노이즈가 있는 입력에 대한 시스템의 불변성 여부를 평가하고 향상시킨다.
• MedleyDB의 다트랙크 데이터를 활용하여 메인 보컬, 백업 보컬, 악기 성분을 별도로 분리하고 분석한다.
• 전처리(예: MFCC, 멜스펙트로그램)의 역할을 분석하고, 시스템 성능 및 내성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 통제된 비표준 오디오 조건에서 테스트했을 때 현재 최신 VD 시스템의 주요 실패 유형은 무엇인가?
• RQ2 노래하는 음성이 아닌데도 불구하고 보컬 떨림을 모방하는 주파수 변동 악기의 영향을 받을 때 VD 시스템의 성능은 어떻게 되는가?
• RQ3 낮은 신호 대 잡음비(SNR)가 기존 VD 시스템의 성능에 어느 정도 악영향을 미치는가?
• RQ4 SNR가 변하는 데이터 증강 기법이 실제 오디오 변동성에 대한 VD 시스템의 내성 향상에 기여할 수 있는가?
• RQ5 다트랙크 오디오 데이터와 계층적 음성 애너테이션은 '노래하는 음성'의 정의와 평가를 어떻게 향상시킬 수 있는가?

주요 결과

• FE-VD는 CNN-VD와 RNN-VD에 비해 비음성 떨림에 대해 더 뛰어난 내성을 보였으며, 특정 실패 케이스에서는 특징 공학이 딥러닝을 능가할 수 있음을 시사한다.
• 낮은 SNR는 세 시스템 전반의 성능을 심각하게 떨어뜨리며, 10 dB 이하로 떨어지면 성능 저하가 두드러지게 나타나 주요 취약점임을 확인했다.
• 현재 '노래하는 음성'의 정의가 모호하다. 시스템은 일반적으로 주요 멜로디 보컬만 노래하는 음성으로 간주하며, 백업 보컬이나 흠칫거림 부분은 무시하는 경향이 있다.
• 기존 데이터셋의 애너테이션 정밀도(예: RWC의 8자리 소수점)는 인간의 청각 해상도(약 10 ms)를 초과하여 평가에 잡음이 발생할 수 있다.
• 다트랙크 데이터셋인 MedleyDB는 보컬 성분의 정밀한 분석을 가능하게 하며, 개선된 시스템 훈련과 평가를 위한 계층적 애너테이션 지원에 기여할 수 있다.
• MFCC나 멜스펙트로그램과 같은 전처리 방법의 선택이 성능에 상당한 영향을 미치며, 아키텍처 변경 없이도 최적화를 통해 성능 향상을 이룰 수 있다.