[논문 리뷰] Improving Performance of Speaker Identification System Using Complementary Information Fusion

Md Sahidullah, Sandipan Chakroborty외 1명|arXiv (Cornell University)|2011. 05. 13.

Speech Recognition and Synthesis참고 문헌 2인용 수 3

한 줄 요약

이 논문은 선형 예측 분석의 잔차 신호에서 유도된 음성 코드 기반 특징과 음역대 기반 특징(LPCC)을 융합하는 새로운 화자 식별 시스템을 제안한다. 잔차 신호의 비선형성을 모델링하기 위해 고차 통계 모멘트를 활용하고, 이를 통해 유도된 결정 점수를 스펙트럼 특징과 융합함으로써, 두 개의 공개 데이터베이스에서 단일 특징 기반 접근 방식보다 향상된 성능을 달성한다.

ABSTRACT

Feature extraction plays an important role as a front-end processing block in speaker identification (SI) process. Most of the SI systems utilize like Mel-Frequency Cepstral Coefficients (MFCC), Perceptual Linear Prediction (PLP), Linear Predictive Cepstral Coefficients (LPCC), as a feature for representing speech signal. Their derivations are based on short term processing of speech signal and they try to capture the vocal tract information ignoring the contribution from the vocal cord. Vocal cord cues are equally important in SI context, as the information like pitch frequency, phase in the residual signal, etc could convey important speaker specific attributes and are complementary to the information contained in spectral feature sets. In this paper we propose a novel feature set extracted from the residual signal of LP modeling. Higher-order statistical moments are used here to find the nonlinear relationship in residual signal. To get the advantages of complementarity vocal cord based decision score is fused with the vocal tract based score. The experimental results on two public databases show that fused mode system outperforms single spectral features.

연구 동기 및 목표

• MFCC 및 LPCC와 같은 전통적인 스펙트럼 특징에만 의존하는 기존 화자 식별 시스템의 한계를 해결하기 위해, 음성 코드 기여를 무시하는 문제를 해결하고자 한다.
• 피치 주파수 및 잔차 신호 위상과 같은 음성 코드 신호가 화자 구별 성능을 향상시키는 데 기여하는 보완적 역할을 탐색하고자 한다.
• 비선형 역동성을 포착하기 위해 LP 잔차 신호의 고차 통계 모멘트를 기반으로 한 새로운 특징 세트를 개발하고자 한다.
• 음역대 기반 및 음성 코드 기반 결정 점수 간의 점수 수준 융합을 조사하여 시스템 성능을 향상시키고자 한다.
• 표준화된 공개 데이터베이스를 활용하여 제안된 융합 프레임워크의 타당성을 검증하고, 강력한 평가를 수행하고자 한다.

제안 방법

• 선형 예측(LP) 모델링에서 잔차 신호를 추출하여 음성 코드와 관련된 자극 성분을 분리한다.
• LP 잔차 신호의 고차 통계 모멘트(예: 왜도, 첨도)를 계산하여 비선형 관계를 모델링하고 화자 특화된 음성 코드 특징을 포착한다.
• 유도된 고차 모멘트 특징을 화자 식별을 위한 음성 코드 정보의 표현으로 활용한다.
• 비교 및 융합를 위해 표준 스펙트럼 특징(예: LPCC)을 음역대 기반 특징 세트로 사용한다.
• 음역대 기반 및 음성 코드 기반 시스템의 결정 점수를 점수 수준에서 융합하여 보완 정보를 활용한다.
• 최종 화자 분류를 위해 두 개의 점수 스트림을 융합하기 위해 가중 평균 또는 유사한 융합 전략을 적용한다.

실험 결과

연구 질문

• RQ1 LP 잔차 신호에서 유도된 특징가 전통적인 스펙트럼 특징이 포착하지 못한 보완적인 화자 특화 정보를 제공할 수 있는가?
• RQ2 고차 통계 모멘트가 잔차 신호의 비선형 역동성을 화자 식별에 효과적으로 모델링하는 데 얼마나 유용한가?
• RQ3 음역대 기반 및 음성 코드 기반 시스템의 점수 수준 융합이 전체 화자 식별 정확도를 향상시키는가?
• RQ4 기준 데이터베이스에서 융합된 시스템의 성능이 개별 스펙트럼 기반 또는 잔차 기반 시스템과 비교하여 어떻게 되는가?
• RQ5 제안된 특징 세트가 다양한 화자 식별 시나리오 및 데이터베이스에서 강인한가?

주요 결과

• LP 잔차 신호의 고차 모멘트에서 유도된 제안된 음성 코드 기반 특징 세트는 기존의 전통적 스펙트럼 특징이 포착하지 못한 화자 특화 정보를 포착한다.
• 음역대 기반(LPCC) 및 음성 코드 기반 특징 간의 점수 수준 융합은 단일 특징 세트를 사용하는 것보다 향상된 화자 식별 성능을 달성한다.
• 융합된 시스템은 두 개의 공개 화자 식별 데이터베이스에서 단일 특징 시스템을 능가하며, 보완 정보 융합의 효과성을 입증한다.
• 고차 모멘트를 통한 비선형 역동성의 포함은 화자 인식을 위한 잔차 신호의 분류 능력을 향상시킨다.
• 실험 결과는 피치 및 잔차 신호 특성과 같은 음성 코드 신호가 화자 식별에 있어 유용한 보완 정보를 제공한다는 것을 확인한다.