[논문 리뷰] Phoneme Classification in High-Dimensional Linear Feature Domains.

Matthew Ager, Zoran Cvetković외 1명|arXiv (Cornell University)|2013. 12. 24.

Music and Audio Processing참고 문헌 35인용 수 4

한 줄 요약

이 논문은 추가적 잡음에 대한 강건성을 향상시키기 위해 고차원 선형 특징을 사용하는 생성적 음소 분류 프레임워크를 제안한다. 다양한 프레임 수에 걸쳐 모델을 평균화하고 전체 음소 및 전이 정보를 통합함으로써, 18dB 이하의 신호대기잡음비(SNR)에서 노이즈 적응형 PLP 분류기보다 우수한 성능을 기록하며, 음성 웨이브폼과 PLP 로그우도를 융합함으로써 추가적인 성능 향상이 이루어진다.

ABSTRACT

Phoneme classification is investigated for linear feature domains with the aim of improving robustness to additive noise. In linear feature domains noise adaptation is exact, potentially leading to more accurate classification than representations involving non-linear processing and dimensionality reduction. A generative framework is developed for isolated phoneme classification using linear features. Initial results are shown for representations consisting of concatenated frames from the centre of the phoneme, each containing f frames. As phonemes have variable duration, no single f is optimal for all phonemes, therefore an average is taken over models with a range of values of f . Results are further improved by including information from the entire phoneme and transitions. In the presence of additive noise, classification in this framework performs better than an analogous PLP classifier, adapted to noise using cepstral mean and variance normalisation, below 18dB SNR. Finally we propose classification using a combination of acoustic waveform and PLP log-likelihoods. The combined classifier performs uniformly better than either of the individual classifiers across all noise levels.

연구 동기 및 목표

• 선형 특징 도메인을 사용하여 소음 환경에서의 음소 분류 강건성을 향상시키는 것.
• 변동하는 음소 지속 시간 문제를 해결하기 위해 다수의 프레임 수에 걸쳐 모델을 평균화하는 것.
• 단일 프레임을 초월하여 전체 음소 및 전이 정보를 통합함으로써 성능을 향상시키는 것.
• 다양한 신호대기잡음비(SNR) 조건에서 제안된 선형 특징 접근법과 노이즈 적응형 PLP 분류기 간의 성능을 비교하는 것.
• 하이브리드 분류기에서 음성 웨이브폼과 PLP 로그우도를 융합함으로써 얻는 성능 향상 여부를 조사하는 것.

제안 방법

• 선형 특징을 사용하여 고립 음소 분류를 위한 생성적 프레임워크를 개발하여 정확한 노이즈 적응을 가능하게 한다.
• 각 음소 중심에 위치한 f개의 프레임을 연결하여 표현을 형성하며, f의 값을 다양하게 설정하여 변동하는 음소 지속 시간을 처리한다.
• 다양한 f 값에 대한 분류 점수를 평균화하여 지속 시간 변동성에 대한 강건성을 향상시킨다.
• 중앙 프레임 세그먼트를 초월하여 전체 음소 및 전이 동역학을 통합하여 특징 표현을 풍부하게 한다.
• 특징 공간의 선형성 덕분에 선형 도메인에서 정확한 노이즈 적응을 적용한다.
• 음성 웨이브폼 우도와 PLP 로그우도를 융합하여 성능 향상을 도모하는 통합 분류기를 제안한다.

실험 결과

연구 질문

• RQ1 추가적 잡음 하에서 비선형 표현에 비해 선형 특징 도메인이 더 높은 음소 분류 정확도를 제공할 수 있는가?
• RQ2 음소 지속 시간이 변동할 경우, 여러 프레임 수(f)에 걸친 평균화가 분류 성능에 어떻게 기여하는가?
• RQ3 전체 음소 및 전이 정보를 포함시킴으로써 분류 성능 향상이 어느 정도 이루어지는가?
• RQ4 제안된 선형 특징 분류기와 노이즈 적응형 PLP 분류기 간의 성능 비교는 다양한 신호대기잡음비(SNR) 수준에서 어떻게 나타나는가?
• RQ5 웨이브폼과 PLP 로그우도를 융합함으로써 모든 노이즈 수준에서 일관된 성능 향상이 이루어지는가?

주요 결과

• 제안된 선형 특징 분류기는 18dB 이하의 신호대기잡음비(SNR)에서 노이즈 적응형 PLP 분류기보다 뛰어난 성능을 보이며, 추가적 잡음에 대한 강건성을 향상시킨다.
• 다양한 프레임 수(f)에 걸쳐 모델을 평균화함으로써 변동하는 음소 지속 시간을 효과적으로 처리하고 분류 정확도를 향상시킨다.
• 중앙 프레임만을 사용하는 모델에 비해 전체 음소 및 전이 정보를 통합함으로써 측정 가능한 성능 향상이 이루어진다.
• 웨이브폼과 PLP 로그우도를 모두 사용하는 통합 분류기는 모든 신호대기잡음비(SNR) 수준에서 개별 분류기보다 균일하게 뛰어난 성능을 보인다.
• 선형 도메인에서 정확한 노이즈 적응은 비선형이고 차원이 압축된 표현에 비해 더 정확한 분류를 가능하게 한다.