[논문 리뷰] On the use of DNN Autoencoder for Robust Speaker Recognition

Ondřej Novotný, Oldřich Plchot외 2명|arXiv (Cornell University)|2018. 11. 07.

Speech and Audio Processing참고 문헌 11인용 수 10

한 줄 요약

이 논문은 소음 및 반향 조건에서 강건한 텍스트 독립적 화자 인식을 위해 DNN 오토인코더를 전처리 프론트엔드로 사용하는 것을 제안한다. 이는 노이즈가 있고 반향이 있는 음성 입력을 정제된 음성으로 매핑하도록 훈련한다. 이 방법은 성능을 크게 향상시키며, 특히 도전적인 소음 및 반향 조건에서 기준 모델 대비 70% 이상의 상대적 향상을 달성한다. 특히 실제 실내 인력응답(RIR)을 사용한 오토인코더 보정과 다중 조건 PLDA 훈련을 조합했을 때 최고의 성능을 기록한다.

ABSTRACT

In this paper, we present an analysis of a DNN-based autoencoder for speech enhancement, dereverberation and denoising. The target application is a robust speaker recognition system. We started with augmenting the Fisher database with artificially noised and reverberated data and we trained the autoencoder to map noisy and reverberated speech to its clean version. We use the autoencoder as a preprocessing step for a state-of-the-art text-independent speaker recognition system. We compare results achieved with pure autoencoder enhancement, multi-condition PLDA training and their simultaneous use. We present a detailed analysis with various conditions of NIST SRE 2010, PRISM and artificially corrupted NIST SRE 2010 telephone condition. We conclude that the proposed preprocessing significantly outperforms the baseline and that this technique can be used to build a robust speaker recognition system for reverberated and noisy data.

연구 동기 및 목표

• 실제 전화 통화 및 열악한 음성 조건에서 소음 및 반향 환경에서의 화자 인식의 강건성을 향상시키는 것.
• DNN 기반 오토인코더가 화자 인식 시스템의 신호 전처리 프론트엔드로 효과적인지 조사하는 것.
• 오토인코더 기반 음성 보정과 다중 조건 PLDA 훈련의 이점을 비교하고 조합하여 시스템의 강건성을 향상시키는 것.
• 훈련 데이터의 품질과 유형—특히 실제 vs. 인위적인 실내 인력응답(RIR) 및 노이즈 유형—이 시스템 성능에 미치는 영향을 평가하는 것.
• 오토인코더 보정과 다중 조건 PLDA 훈련을 조합했을 때 각각의 기술을 별도로 사용했을 때보다 우수한 성능을 내는지 확인하는 것.

제안 방법

• 정제된 음성을 노이즈가 있고 반향이 있는 입력으로부터 재구성하도록, 3개의 은닉층 각각 1500개의 뉴런을 가진 깊은 신경망 오토인코더를 훈련시켰다.
• 청정 음성 데이터로 피셔 영어 코퍼스를 사용하였으며, 실제 및 합성 노이즈와 실내 인력응답(RIR)을 인위적으로 적용하여 훈련 쌍을 생성하였다.
• 혼합 이전에 노이즈와 신호에 A-weighting을 적용하여 인간 청각 인지 모의 및 VAD로 감지된 음성 프레임 기반으로 SNR를 제어하였다.
• 오토인코더 훈련 중에 로그-매그니튜드 스펙트로그램을 사용하고 31프레임의 컨텍스트(3999차원 입력)를 적용하여 평균 제곱오차(MSE)를 손실 함수로 사용하였다.
• 오토인코더의 보정 출력을 i-벡터와 PLDA 기반의 최신 텍스트 독립적 화자 인식 시스템의 입력으로 사용하였다.
• 오토인코더 전처리와, 오토인코더 훈련에 사용된 것과 동일한 노이즈 및 RIR 유형으로 손상된 데이터를 사용한 다중 조건 PLDA 훈련을 조합하였다.

실험 결과

연구 질문

• RQ1 DNN 오토인코더 기반 음성 보정은 소음 및 반향 조건에서 화자 인식 성능을 향상시키는가?
• RQ2 실제와 인위적으로 생성된 실내 인력응답(RIR) 중 어떤 것을 선택하느냐가 오토인코더 성능에 어떤 영향을 미치는가?
• RQ3 다양한 테스트 조건에서 오토인코더 보정과 다중 조건 PLDA 훈련 간의 강건성 및 성능을 비교했을 때, 어떤 것이 더 우수한가?
• RQ4 오토인코더 전처리와 다중 조건 PLDA 훈련을 조합했을 때, 각각의 기술을 별도로 사용했을 때보다 우수한 성능을 내는가?
• RQ5 훈련 데이터의 양과 품질이 오토인코더 및 전체 화자 인식 시스템의 효과성에 어떤 영향을 미치는가?

주요 결과

• 실제 RIR과 노이즈로 훈련된 N + RR 오토인코더가 다른 모든 오토인코더 변종보다 뛰어난 성능을 보였으며, 특히 실제 세계의 반향이 강하고 노이즈가 많은 조건에서 두각을 나타냈다.
• N + RR 오토인코더와 다중 조건 PLDA 훈련을 조합했을 때, 가장 도전적인 rev-noise-tel-tel 조건에서 기준 시스템 대비 70% 이상의 상대적 향상을 달성하였다.
• 가장 어려운 조건에서 다중 조건 PLDA 훈련이 순수 오토인코더 보정보다 略적으로 더 우수한 성능을 보였지만, 정제된 데이터에서는 오토인코더보다 더 큰 성능 저하를 일으켰다.
• 두 기술의 조합은 인위적 RIR과 실제 RIR로 훈련된 시스템 간의 성능 격차를 제거하였으며, 모든 조건에서 일관된 강건성을 확보하였다.
• 오토인코더 훈련에 실제 RIR을 사용할 경우, 더 많은 수의 인위적 RIR을 사용하는 것보다 더 좋은 결과를 얻었으며, 이는 이 맥락에서 데이터 품질이 양보다 더 중요하다는 것을 시사한다.
• N + RR 오토인코더와 N + RR 데이터 기반의 다중 조건 PLDA 훈련을 조합한 구성은 모든 테스트 세트에서 가장 강력하고 보편적으로 효과적인 설정으로 확인되었다.