[논문 리뷰] Speaker Recognition using Deep Belief Networks

Adrish Banerjee, Akash Dutt Dubey외 3명|arXiv (Cornell University)|2018. 05. 09.

Speech Recognition and Synthesis참고 문헌 16인용 수 8

한 줄 요약

이 논문은 원시 음성 신호에서 단기 주파수 특징을 학습하여 화자 인식 성능을 햖थ한 딥 베이지언 네트워크(DBN) 기반 접근법을 제안한다. 기존의 MFCC와 결합된 특징을 사용한다. 이 방법은 ELSDSR 데이터셋에서 95%의 정확도를 달성하였으며, MFCC만을 사용할 경우보다 5个百分点 높은 성능이다. 이는 DBN으로 학습한 특징이 화자 인식을 위한 음성의 통계적 구조를 더 잘 모델링함을 보여준다.

ABSTRACT

Short time spectral features such as mel frequency cepstral coefficients(MFCCs) have been previously deployed in state of the art speaker recognition systems, however lesser heed has been paid to short term spectral features that can be learned by generative learning models from speech signals. Higher dimensional encoders such as deep belief networks (DBNs) could improve performance in speaker recognition tasks by better modelling the statistical structure of sound waves. In this paper, we use short term spectral features learnt from the DBN augmented with MFCC features to perform the task of speaker recognition. Using our features, we achieved a recognition accuracy of 0.95 as compared to 0.90 when using standalone MFCC features on the ELSDSR dataset.

연구 동기 및 목표

• 음성 신호에서 분류에 유용한 단기 주파수 특징을 깊이 있는 신뢰망(DBN)을 활용해 학습함으로써 화자 인식 성능을 향상시키는 것.
• 수작업으로 만든 특징인 MFCC에만 의존할 경우 음성의 복잡한 통계적 패턴을 충분히 반영하지 못할 수 있는 한계를 해결하는 것.
• DBN을 사용한 생성적 사전 학습이 기존 방법보다 더 강건한 화자 표현을 도출할 수 있는지 탐구하는 것.
• 표준 벤치마크 데이터셋에서 DBN로 학습한 특징과 MFCC를 조합한 하이브리드 특징 표현의 효과를 검증하는 것.

제안 방법

• 저자들은 원시 음성 프레임을 대상으로 탐욕적인 계층별 비지도 학습 방식으로 사전 훈련된 딥 베이지언 네트워크(DBN)를 사용하여 계층적이고 저수준의 주파수 표현을 추출한다.
• DBN은 단기 음성 세그먼트를 대상으로 훈련되어 음성 신호의 통계적 구조를 반영하는 압축된 고차원 표현을 학습한다.
• DBN의 가시층에서 학습된 특징을 추출하여 표준 MFCC 특징과 결합하여 하이브리드 입력 표현을 구성한다.
• 화자 인식을 위해 결합된 특징 벡터를 기반으로 분류기(예: 소프트맥스 또는 SVM)를 훈련한다.
• 모델은 화자 인식의 표준 벤치마크인 ELSDSR 데이터셋에서 평가된다.
• 화자 분류 작업에 최적화하기 위해 DBN은 지도 학습 방식으로 미세 조정된다.

실험 결과

연구 질문

• RQ1 딥 베이지언 네트워크는 원시 음성 신호에서 화자 인식에 효과적으로 분류에 유용한 단기 주파수 특징을 학습할 수 있는가?
• RQ2 DBN으로 학습한 특징을 기존의 MFCC와 조합할 경우, MFCC만 사용할 때와 비교해 화자 인식 시스템의 성능이 얼마나 향상되는가?
• RQ3 DBN에서의 생성적 사전 학습과 계층적 특징 학습이 화자 식별을 위한 음성의 통계적 구조 모델링에 얼마나 기여하는가?
• RQ4 하이브리드 특징 표현(DBN + MFCC)은 표준 벤치마크에서 인식 정확도 향상에 측정 가능한 기여를 하는가?

주요 결과

• 제안된 방법은 ELSDSR 데이터셋에서 95%의 화자 인식 정확도를 달성하였으며, 기준선인 MFCC 전용 시스템보다 뚜렷이 뛰어난 성능을 보였다.
• MFCC 전용 기준선 시스템은 90%의 정확도를 기록하였으며, 이는 DBN로 학습한 특징을 통합함으로써 5个百分点 향상된 결과이다.
• 결과는 DBN로 학습한 특징가 MFCC만 사용할 경우보다 더 분류에 용이하고 강건한 화자 특징을 포착하고 있음을 보여준다.
• 하이브리드 특징 표현(DBN 특징 + MFCC)은 더 나은 일반화 성능과 음성 신호의 기저 통계적 구조를 더 잘 모델링함을 의미한다.
• DBN의 성공은 원시 음성 데이터에 대한 비지도 사전 학습이 화자 인식 작업에 의미 있는 표현을 도출할 수 있음을 시사한다.
• 이 연구는 깊이 있는 생성 모델이 오디오 처리 응용 분야에서 기존의 수작업 특징과 효과적으로 보완될 수 있음을 확인한다.