[논문 리뷰] A Framework for Multi-f0 Modeling in SATB Choir Recordings

Helena Cuesta, Emília Gómez외 1명|arXiv (Cornell University)|2019. 04. 10.

Music and Audio Processing참고 문헌 15인용 수 4

한 줄 요약

이 논문은 SATB 합창 녹음에서 기본 주파수(f0)를 모델링하기 위한 이단계 프레임워크를 제안하며, 딥러닝 기반 다중 f0 추정과 스펙트럼 화이트닝, 피크 검출을 조합하여 각 합창 부문의 f0 분포를 모델링한다. 주요 기여는 단일 음정 연주 품질의 기초로 주파수 산란(센트 단위)을 기술자로 캡처하는 것으로, 절대 정확도는 제한적이지만 이전의 참값 연구와 일관된 경향을 보여준다.

ABSTRACT

Fundamental frequency (f0) modeling is an important but relatively unexplored aspect of choir singing. Performance evaluation as well as auditory analysis of singing, whether individually or in a choir, often depend on extracting f0 contours for the singing voice. However, due to the large number of singers, singing at a similar frequency range, extracting the exact individual pitch contours from choir recordings is a challenging task. In this paper, we address this task and develop a methodology for modeling pitch contours of SATB choir recordings. A typical SATB choir consists of four parts, each covering a distinct range of pitches and often with multiple singers each. We first evaluate some state-of-the-art multi-f0 estimation systems for the particular case of choirs with a single singer per part, and observe that the pitch of individual singers can be estimated to a relatively high degree of accuracy. We observe, however, that the scenario of multiple singers for each choir part (i.e. unison singing) is far more challenging. In this work we propose a methodology based on combining a multi-f0 estimation methodology based on deep learning followed by a set of traditional DSP techniques to model f0 and its dispersion instead of a single f0 trajectory for each choir part. We present and discuss our observations and test our framework with different singer configurations.

연구 동기 및 목표

• 다수의 가수가 유사한 주파수 범위에서 단일 음정으로 노래하는 SATB 합창 녹음에서 개별 주파수 곡선을 모델링하는 데 도전하는 것.
• 딥러닝과 전통적인 DSP 기법을 융합하여 합창 녹음의 f0 추정 정확도를 향상시키는 것.
• 단일 음정 연주에서intonation 품질의 핵심 기술자로 부문 간 주파수 산란(변동성)을 모델링하는 것.
• 최신 다중 f0 추정 시스템의 성능을 합창 데이터에 대해 평가하고 다중 가수 시나리오에서의 한계를 규명하는 것.
• 개별 음성 트랙 분離가 필요 없이도 강건하고 확장 가능한 합창intonation 분석 방법을 제공하는 것.

제안 방법

• 먼저, 딥러닝 기반 다중 f0 추정 시스템(DeepSalience)을 적용하여 각 합창 부문의 초기 f0 후보를 추출한다.
• 다음으로, 입력 오디오 신호를 스펙트럼 화이트닝하여 주파수 해상도를 향상시키고 스펙트럼 기울기를 감소시킨다.
• 화이트닝된 스펙트럼의 피크를 검출하여 각 합창 부문의 주요 f0 에너지 분포를 특정한다.
• 검출된 피크에서 평균 f0와 대역폭(산란의 척도로 사용)을 계산하여 단일 음정 부문의 f0 분포를 표현한다.
• 프레임워크는 이단계 접근 방식을 사용한다: 초기 f0 추정 이후 고해상도 스펙트럼 분석을 통해 산란을 모델링한다.
• 다양한 합창 구성(부문당 1명 또는 4명의 가수)을 대상으로 평가하여 강건성과 일관성을 점검한다.

실험 결과

연구 질문

• RQ1 최신 다중 f0 추정 시스템은 다수의 가수가 포함된 SATB 합창 녹음에서 어떻게 성능을 발휘하는가?
• RQ2 딥러닝과 전통적인 DSP 기법의 조합이 단일 음정 합창 연주에서 f0 해상도 및 산란 모델링을 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 참값 데이터와 비교해 볼 때 합창 부문(soprano, alto, tenor, bass) 간 주파수 산란 경향을 신뢰성 있게 캡처할 수 있는가?
• RQ4 합창 부문당 가수 수가 f0 산란 추정에 어떤 영향을 미치는가?
• RQ5 개별 음성 분離가 없는 상황에서 f0 산란이 합창intonation 품질의 의미 있는 기술자로 기능할 수 있는가?

주요 결과

• 제안된 프레임워크는 평균 f0와 대역폭으로 특징지어지는 분포로서 f0 산란을 성공적으로 모델링하며, 부문 간 일관된 경향을 보여준다.
• 베이스 부문이 평균적으로 가장 높은 f0 산란(26.02 센트)을 보이며, 테너(22.22 센트), 알토(22.66 센트), 소프라노(20.16 센트)의 순서로 이어진다. 이는 이전의 참값 연구와 일치한다.
• 1명 또는 4명의 가수가 부문당 있는 경우의 산란 값에 큰 차이가 없어, 프레임워크는 가수 수의 변동성에 대해 강건함을 보였다.
• 절대 f0 값이 완벽하게 정확하지 않더라도 일관된 산란 경향을 유지하므로 비교 분석에 유용함을 시사한다.
• 스펙트럼 화이트닝을 사용함으로써 밀도 높은 조화 성분이 있는 경우에도 f0 분포 피크 검출의 해상도가 크게 향상된다.
• 프레임워크의 성능은 초도 다중 f0 추정 단계의 정확도에 크게 의존하므로, 전용 음성 모델을 적용하면 성능 향상이 가능할 것으로 보인다.