[논문 리뷰] Joint Robust Voicing Detection and Pitch Estimation Based on Residual Harmonics

Thomas Drugman, Abeer Alwan|arXiv (Cornell University)|2019. 12. 28.

Speech and Audio Processing인용 수 10

한 줄 요약

이 논문은 역필터링을 통해 확보한 잔여 신호에 대해 잔여 고조파의 합(SRH)을 사용하여 음성 여부 검출과 피치 추정을 동시에 수행하는 강건한 방법을 제안한다. 잔여 스펙트럼 내 고조파 피크를 활용하고, 짝수 고조파에서 발생하는 가짜 최댓값을 억제하는 새로운 기준을 적용함으로써, 추가 노이즈에 대해 매우 강건한 성능을 달성하며, 특히 0 dB SNR 조건에서 여성 음성에 대해 기존의 여섯 가지 최첨단 피치 추적기들보다 뛰어난 성능을 보인다.

ABSTRACT

This paper focuses on the problem of pitch tracking in noisy conditions. A method using harmonic information in the residual signal is presented. The proposed criterion is used both for pitch estimation, as well as for determining the voicing segments of speech. In the experiments, the method is compared to six state-of-the-art pitch trackers on the Keele and CSTR databases. The proposed technique is shown to be particularly robust to additive noise, leading to a significant improvement in adverse conditions.

연구 동기 및 목표

• 기존 방법들이 뚜렷하게 열악해지는 노이즈가 있는 음성 환경에서 정확한 피치 추적 문제를 해결하기 위해.
• 원래 음성 신호가 아닌 잔여 신호의 고조파 구조를 활용하여 음성 여부 결정 정확도를 향상시키기 위해.
• 단일 기준을 사용하여 동시에 피치 추정과 음성/비음성 세그먼트 검출을 수행하는 통합 프레임워크를 개발하기 위해.
• 역필터링을 통해 후각 구조 및 스펙트럼 왜곡의 영향을 최소화함으로써 추가 노이즈에 대한 강건성을 향상시키기 위해.
• 청결 및 노이즈 조건에서 표준화된 데이터베이스를 사용하여 최첨단 피치 추적기들과의 성능 평가를 수행하기 위해.

제안 방법

• 신호의 스펙트럼 에너지에 대해 자동회귀 모델링을 적용하여 잔여 신호를 역필터링을 통해 추정함으로써 스펙트럼을 평탄화하고 후각 공명 및 노이즈의 영향을 감소시킴.
• 각 Hanning 윈도우 적용 프레임에 대해 잔여 신호의 진폭 스펙트럼 E(f)를 계산함. 이 스펙트럼은 음성 세그먼트에서 기본 주파수 F₀의 배수에서 고조파 피크를 나타냄.
• 잔여 고조파의 합(SRH)은 SRH(f) = E(f) + Σₖ₌₂^N_harm [E(k·f) − E((k−½)·f)]로 정의되며, 짝수 고조파에서의 가짜 피크를 억제하고 진짜 F₀ 피크를 강화함.
• 추정된 피치 F₀*는 [F₀,min, F₀,max] 범위 내에서 SRH(f)를 최대화하는 주파수이며, 두 단계의 정밀 조정을 거침: 먼저 전체 범위에서 평균 F₀를 추정하고, 그 후 [0.5·F₀,mean, 2·F₀,mean] 범위에서 정밀 조정하여 모호함을 제한함.
• 프레임 단위 에너지 정규화 후 SRH(F₀*)에 임계값을 적용하여 음성 여부 결정을 내림. SRH(F₀*) > θ를 만족하는 프레임은 음성으로 분류함.
• Keele 및 CSTR 데이터베이스를 사용하여 0 dB SNR 조건에서 다양한 노이즈 유형에 대해 성능을 평가하며, 여섯 가지 최첨단 피치 추적기들과의 비교를 수행함.

실험 결과

연구 질문

• RQ1 잔여 신호에 고조파 기반 기준을 적용하면 노이즈 조건에서 피치 추정의 강건성이 향상되는가?
• RQ2 제안된 SRH 기준이 짝수 고조파에서의 가짜 피크를 효과적으로 억제하고 진짜 F₀ 피크를 강화하는가?
• RQ3 동일한 SRH 지표로 별도의 처리 없이도 피치 추정과 음성 여부 검출을 신뢰성 있게 동시에 수행할 수 있는가?
• RQ4 노이즈 조건에서 프레임 오류율(FPE), 음성 여부 결정 오류(VDE), 피치 오류(GPE) 측면에서 최첨단 피치 추적기들과 비교해 성능은 어떻게 되는가?
• RQ5 두 단계 피치 추정 과정(초기 평균 F₀ 추정 후 정밀 조정)이 정확도 향상과 모호함 감소에 기여하는가?

주요 결과

• 청결 조건에서는 SRH가 경쟁력 있는 성능을 보이며, 여성 화자에 대해 FPE에서 2위, 여성 음성에 대해 GPE에서 1위를 기록하며 최첨단 방법들과 유사한 성능을 달성함.
• 노이즈 조건(0 dB SNR)에서는 여성 화자에 대해 모든 비교 방법보다 뚜렷이 뛰어난 성능을 보이며, 대부분의 경우 FPE는 최소 8.5% 감소하고 VDE는 10% 이상 감소함.
• 남성 화자에 대해서는 노이즈 조건에서 FPE는 5.7%, VDE는 5.3% 향상되어 다음으로 우수한 방법보다 뚜렷한 강건성 향상을 보임.
• SRH가 성능이 열등한 유일한 경우는 남성 음성에 대해 배경잡음(babble noise)이 적용된 경우이며, 이는 저주파수 스펙트럼 왜곡이 첫 다섯 고조파에 영향을 주기 때문으로 보임.
• 노이즈 조건에서 여성 음성에 대해 SRH는 매우 낮은 VDE(2.7%)와 GPE(4.0%) 평균을 기록하며, SRH의 VAD를 사용하는 YIN조차도 이를 능가함.
• 이 방법의 강건성은 후각 공명 및 노이즈 영향을 줄이는 데 기여하는 역필터링 덕분이며, 이로 인해 잔여 고조파가 더 신뢰할 수 있는 피치 단서가 됨.