[논문 리뷰] The 2020 Personalized Voice Trigger Challenge: Open Database, Evaluation Metrics and the Baseline Systems

Yan Jia, Xingming Wang외 5명|arXiv (Cornell University)|2021. 01. 06.

Speech and Audio Processing참고 문헌 23인용 수 6

한 줄 요약

이 논문은 2020년 개인 맞춤형 음성 트리거 챌린지(PVTC2020)를 제시하며, 연설자 의존적 웨이크업 워드 검출을 위한 개방형 데이터베이스(XIAO-LE)와 키워드 스트링 및 연설자 검증을 통합한 평가 지표를 소개한다. 두 단계로 구성된 엔드 투 엔드 신경망 기반 시스템을 제안하여, 오차율과 거짓 경고율을 최적화함으로써, 근접 마이크로폰 조건에서 비용(cost)이 0.37, 원거리 조건에서 0.31을 달성한다.

ABSTRACT

The 2020 Personalized Voice Trigger Challenge (PVTC2020) addresses two different research problems a unified setup: joint wake-up word detection with speaker verification on close-talking single microphone data and far-field multi-channel microphone array data. Specially, the second task poses an additional cross-channel matching challenge on top of the far-field condition. To simulate the real-life application scenario, the enrollment utterances are recorded from close-talking cell-phone only, while the test utterances are recorded from both the close-talking cell-phone and the far-field microphone arrays. This paper introduces our challenge setup and the released database as well as the evaluation metrics. In addition, we present a joint end-to-end neural network baseline system trained with the proposed database for speaker-dependent wake-up word detection. Results show that the cost calculated from the miss rate and the false alarm rate, can reach 0.37 in the close-talking single microphone task and 0.31 in the far-field microphone array task. The official website and the open-source baseline system have been released.

연구 동기 및 목표

• 단일 프레임워크 내에서 웨이크업 워드 검출과 연설자 검증을 통합함으로써 개인 맞춤형 음성 트리거 시스템의 과제를 해결한다.
• 실제 기록 환경을 반영한 실생활 설정을 활용하여 근접 마이크로폰 및 원거리 조건에서의 연설자 의존적 키워드 스트링 검출에 대한 현실적인 벤치마크를 제공한다.
• 웨이크업 검출과 연설자 검증을 통합 최적화하여 시스템의 강인성 향상과 무단 사용자에 의한 거짓 트리거 감소를 도모한다.
• 공유 평가 플랫폼을 통해 개인 맞춤형 음성 어시스턴트를 위한 컴act하고 효율적이며 강인한 엔드 투 엔드 모델에 대한 연구를 촉진한다.
• 개방 데이터와 표준화된 평가 지표를 통해 음성 트리거 장치의 다중 작업 학습, 손실 함수 설계, 도메인 적응 분야의 혁신을 촉진한다.

제안 방법

• 근접 마이크로폰 스마트폰 및 다중 채널 마이크로폰 어레이에서 550명의 연설자로부터 수집한 총 658,995건의 발화를 포함하는 XIAO-LE 데이터베이스를 공개한다.
• 두 단계 기반 시스템을 설계한다: 첫 번째로, DNN 기반의 키워드 스트링(KWS) 모델이 80차원의 로그 멜 필터뱅크 특징과 교차 엔트로피 손실을 사용하여 '시아오 레'를 검출한다.
• 두 번째로, 연설자 검증 네트워크가 KWS 출력에서 고정 길이의 연설자 임bedding을 추출하고, 등록 템플릿과 코사인 유사도를 비교한다.
• 등록된 사용자와 무단 사용자를 구분하기 위해 등가 오류율(EER)과 minDCF 기반 임계값을 적용한다.
• KWS 및 연설자 검증 구성 요소의 훈련을 위해 Nesterov 모멘텀과 학습률 감소를 적용한 확률적 경사 하강법을 사용한다.
• 거짓 기각률(FRR)과 거짓 경고율(FAR)을 조합한 비용 함수를 사용하여 성능을 평가하며, 목표로 하는 수준은 시간당 한 건의 거짓 경고이다.

실험 결과

연구 질문

• RQ1 웨이크업 워드 검출과 연설자 검증의 통합 학습이 시스템의 강인성 향상과 거짓 트리거 감소에 어떻게 기여하는가?
• RQ2 근접 마이크로폰과 원거리 마이크로폰 조건을 통합한 현실적인 개방형 데이터셋에서 달성 가능한 성능는 어떠한가?
• RQ3 다중 채널 마이크로폰 어레이 데이터는 단일 마이크로폰 설정 대비 연설자 의존적 웨이크업 워드 검출 성능에 어떤 영향을 미치는가?
• RQ4 EER 대비 minDCF 기반 임계값 전략 중 어느 것이 연설자 검증에서 거짓 기각률과 거짓 경고율 간의 최적 균형을 이룰 수 있는가?
• RQ5 통합형 엔드 투 엔드 기반 시스템이 다양한 음향 환경에서 낮은 비용 성능을 달성할 수 있는 정도는 어느 정도인가?

주요 결과

• 근접 마이크로폰 단일 마이크로폰 작업(Task 1)에서 기반 시스템은 오차율과 거짓 경고율의 가중합으로 계산된 비용이 0.37을 기록한다.
• 원거리 다중 채널 마이크로폰 어레이 작업(Task 2)에서는 비용이 0.31로 감소하여, 더 큰 음향적 도전 과제가 있음에도 불구하고 성능 향상이 이루어졌음을 시사한다.
• EER과 minDCF의 평균 기반 임계값을 사용한 두 번째 단계 연설자 검증 시스템(V2 기반)은 EER 전용 기반 시스템 대비 성능 향상이著명하다.
• 원거리 조건에서 개발 세트에서는 성능 저하가 관찰되었지만, 평가 세트에서는 더 좋은 결과를 보여, 다중 채널 빔포밍이 거리에 따른 성능 저하를 효과적으로 완화함을 시사한다.
• 연설자 임bedding 비교를 통한 통합된 두 단계 시스템은 웨이크업 워드가 유사하게 발화되더라도 무단 사용자의 거짓 트리거를 줄이는 데 기여한다.
• 개방형 XIAO-LE 데이터베이스와 공식 기반 시스템이 공개되어, 개인 맞춤형 음성 트리거 연구 분야에서 재현 가능성과 향후 벤치마크 평가를 가능하게 한다.