[논문 리뷰] HLT-NUS Submission for NIST 2019 Multimedia Speaker Recognition Evaluation

Rohan Kumar Das, Ruijie Tao외 4명|arXiv (Cornell University)|2020. 10. 08.

Speech and Audio Processing참고 문헌 40인용 수 4

한 줄 요약

이 논문은 2019년 NIST 멀티미디어 스피커 인식 평가를 위해 HLT-NUS에서 개발한 다중모달 스피커 인식 시스템을 제시한다. 이 시스템은 x-vector 기반 음성 및 ResNet/InsightFace 기반 시각 시스템을 점수 수준 융합하여 구성되었으며, 최종 시스템은 평가 세트에서 EER 0.88%와 actDCF 0.026을 달성하여 평가 이후 보완 조치를 통해 도전 과제 제출 성능을 크게 뛰어넘었다.

ABSTRACT

This work describes the speaker verification system developed by Human Language Technology Laboratory, National University of Singapore (HLT-NUS) for 2019 NIST Multimedia Speaker Recognition Evaluation (SRE). The multimedia research has gained attention to a wide range of applications and speaker recognition is no exception to it. In contrast to the previous NIST SREs, the latest edition focuses on a multimedia track to recognize speakers with both audio and visual information. We developed separate systems for audio and visual inputs followed by a score level fusion of the systems from the two modalities to collectively use their information. The audio systems are based on x-vector based speaker embedding, whereas the face recognition systems are based on ResNet and InsightFace based face embeddings. With post evaluation studies and refinements, we obtain an equal error rate (EER) of 0.88% and an actual detection cost function (actDCF) of 0.026 on the evaluation set of 2019 NIST multimedia SRE corpus.

연구 동기 및 목표

• 실제 환경에서의 열악한 조건에서도 음성 및 시각적 신호를 활용하여 성능을 향상시킬 수 있는 강력한 스피커 인식 시스템을 개발하는 것.
• 혼합 대역폭 음성 처리 및 음성 강화 기법(WPE)이 소음이 많거나 채널 조건이 변동성이 큰 환경에서 스피커 인식 성능에 미치는 영향을 조사하는 것.
• 딥 러닝 기반 얼굴 인식 모델(ResNet-101 및 InsightFace)이 다중모달 스피커 검증 맥락에서 시각적 스피커 식별에 얼마나 효과적인지 평가하는 것.
• 음성 및 시각 시스템 출력을 최적화하여 융합하는 점수 수준 융합 전략을 탐색하여 단일 모odal 시스템에 비해 향상된 성능을 달성하는 것.
• 평가 이후 고도화된 모델과 校정 기법을 적용하여 시스템 성능을 향상시키고, 2019년 NIST 멀티미디어 SRE 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 더 넓은 대역폭을 활용하기 위해 8 kHz(narrowband) 및 16 kHz(wideband) 음성 데이터를 사용하여 여러 개의 x-vector 기반 음성 시스템을 개발하여 혼합 대역폭의 이점을 극대화하였다.
• 실제 환경의 음성 입력에서 소음을 감소시키기 위해 가중 예측 오차(WPE) 음성 강화 기법을 적용하여 스피커 임bedding 추출을 위한 특징 품질을 향상시켰다.
• 깊은 합성곱 신경망을 사용하여 구분 가능한 얼굴 특징를 학습하기 위해 ResNet-101 기반 얼굴 인식 모델을 훈련 및 평가하여 시각적 스피커 임bedding 추출을 수행하였다.
• 최신 기술 수준의 얼굴 검출 및 인식 모델을 사용하여 더 발전된 InsightFace 기반 시각 시스템을 개발하여 ResNet-101 기반 기준 대비 정확도를 향상시켰다.
• 교정된 점수를 사용하여 음성 및 시각 시스템의 점수 수준 융합을 수행하여, 여러 음성 및 시각 모델의 출력을 조합하여 종합적인 탐지 성능을 향상시켰다.
• 실제 도입 환경을 고려하여 융합된 시스템에 대해 校정 기법을 적용하여 실제 탐지 비용 함수(actDCF)를 최소화하고 최적화하였다.

실험 결과

연구 질문

• RQ1 노이즈가 많거나 조건이 열악한 환경에서 넓은 대역폭과 좁은 대역폭 음성 처리를 융합함으로써 스피커 인식 성능이 어떻게 향상되는가?
• RQ2 WPE를 통한 음성 강화 기법이 소음이 많거나 품질이 떨어지는 음성 입력에서 스피커 인식 정확도에 얼마나 기여하는가?
• RQ3 다중모달 환경에서 현대적인 딥 러닝 기반 얼굴 인식 모델(ResNet-101 및 InsightFace)이 시각적 스피커 식별 성능에서 어떻게 비교되는가?
• RQ4 음성 및 시각 시스템 간의 점수 수준 융합이 종합적인 스피커 인식 성능에 미치는 영향은 어떠한가?
• RQ5 고급 모델과 校정 기법을 활용한 평가 이후 시스템 보완 조치를 통해 도전 과제 제출 성능을 크게 뛰어넘을 수 있는가?

주요 결과

• 최종 음성-시각 융합 시스템은 2019년 NIST 멀티미디어 SRE 평가 세트에서 등오류율(EER) 0.88%와 실제 탐지 비용 함수(actDCF) 0.026을 달성하였다.
• 평가 이후 보완된 InsightFace 기반 시각 시스템은 EER 1.55%와 actDCF 0.085를 기록하여 ResNet-101 기반 시각 시스템(EER: 6.16%, actDCF: 0.343)을 크게 앞서는 성능을 보였다.
• WPE를 적용한 x-vector 시스템(x-vector_8k-WPE)은 평가 세트에서 개별 음성 시스템 중 최고 성능을 기록하여 EER 7.02%와 actDCF 0.529를 달성하였다.
• 평가 이후 융합된 시스템은 도전 과제 제출 시의 actDCF 0.136에서 0.026으로 감소하여 상대적 개선률 81%를 기록하였다.
• 최종 융합 시스템은 2019년 NIST 멀티미디어 SRE에서 상위 두 시스템과 유사한 성능을 보이며, 다중모달 융합 및 평가 이후 최적화의 효과를 입증하였다.
• 개발 세트는 평가 세트보다 더 도전적으로 평가되었으며, 모든 시스템이 평가 세트에서 더 높은 성능를 기록함으로써 도메인 이동 또는 데이터 분포의 차이가 존재할 수 있음을 시사하였다.