[논문 리뷰] The NPU System for the 2020 Personalized Voice Trigger Challenge

Jingyong Hou, Li Zhang외 5명|arXiv (Cornell University)|2021. 02. 26.

Speech Recognition and Synthesis참고 문헌 16인용 수 6

한 줄 요약

이 논문은 2020년 개인화된 음성 트리거 챌린지에 대비해 다중 척도 확장 시간 컨볼루션(MDTC) 키워드 스트링(KWS) 모델과 ArcFace 및 감독 대비 손실을 사용한 발화자 확인(SV) 시스템을 결합한 NPU 시스템을 제시한다. 시스템은 가까이서 말할 때 검출 비용이 0.081, 멀리서 말할 때는 0.091로 각각 2위를 기록하였으며, 높은 정확도와 낮은 지연 시간으로 깨어나기 단어를 효과적으로 탐지하고 발화자 신원을 확인하였다.

ABSTRACT

This paper describes the system developed by the NPU team for the 2020 personalized voice trigger challenge. Our submitted system consists of two independently trained subsystems: a small footprint keyword spotting (KWS) system and a speaker verification (SV) system. For the KWS system, a multi-scale dilated temporal convolutional (MDTC) network is proposed to detect wake-up word (WuW). For SV system, Write something here. The KWS predicts posterior probabilities of whether an audio utterance contains WuW and estimates the location of WuW at the same time. When the posterior probability ofWuW reaches a predefined threshold, the identity information of triggered segment is determined by the SV system. On evaluation dataset, our submitted system obtains detection costs of 0.081and 0.091 in close talking and far-field tasks, respectively.

연구 동기 및 목표

• 비밀번호 활성화를 방지하기 위해 깨어나기 단어를 탐지하고 발화자 신원을 확인할 수 있는 개인화된 음성 트리거 시스템을 개발하기 위해.
• 멀리서 말할 때나 다수의 발화자가 존재하는 환경과 같은 도전적인 조건에서도 키워드 스트링(KWS) 성능을 향상시키기 위해.
• ArcFace 및 감독 대비 손실과 같은 고급 손실 함수를 사용하여 발화자 확인(SV) 정확도를 향상시키기 위해.
• 제한된 계산 자원을 가진 엣지 장치에 실시간 배포를 위해 시스템 효율성을 최적화하기 위해.
• 학습, 개발, 평가 데이터 세트 간 도메인 이탈을 효과적인 데이터 증강 전략을 통해 완화하기 위해.

제안 방법

• KWS를 위해 다중 척도 확장 시간 컨볼루션(MDTC) 네트워크를 제안하며, 증가하는 확장률(1, 2, 4, 8)을 가진 확장된 깊이 분할 1차원 컨볼루션을 사용하여 장거리 시간적 맥락을 캡처한다.
• MDTC 블록은 잔차 연결, 배치 정규화, ReLU 활성화 함수 및 압축-확장(SE) 모듈을 포함하여 특징 표현과 학습 안정성을 향상시킨다.
• KWS 시스템은 프레임 수준 분류를 위해 이진 교차 엔트로피(BCE) 손실을 사용하며, 양성 샘플은 깨어나기 단어 중심으로 40프레임으로 정의되고, 음성 샘플은 나머지 모든 프레임이다.
• SV를 위해 시스템은 임베딩 품질을 향상시키고 내부 클래스 변동을 줄이기 위해 ArcFace 손실과 감독 대비 손실을 활용한다.
• 데이터 증강은 깨어나기 단어 앞뒤에 비키워드 음성 세그먼트를 삽입하고, 개발 세트의 음성 샘플을 사용하여 일반화 능력을 향상시킨다.
• 최종 시스템은 KWS와 SV를 이중 단계 파이프라인으로 통합한다: KWS가 세그먼트를 트리거하고, SV는 등록된 임베딩을 사용해 발화자 신원을 확인한다.

실험 결과

연구 질문

• RQ1 가까이서 말할 때와 멀리서 말할 때 모두 깨어나기 단어를 탐지할 수 있는 경량이면서 정확한 KWS 시스템을 어떻게 설계할 수 있는가?
• RQ2 개인화된 음성 트리거 환경에서 발화자 확인 성능을 향상시키는 데 가장 효과적인 손실 함수는 무엇인가?
• RQ3 KWS에서 도메인 이탈을 완화하기 위해 어떤 데이터 증강 전략이 효과적인가?
• RQ4 다양한 SV 모델을 점수 융합하여 통합 시스템의 강건성과 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 실제 엣지 하드웨어에서 종단 간 개인화된 음성 트리거 시스템의 추론 효율성은 어떠한가?

주요 결과

• NPU 시스템은 가까이서 말할 때 평가 세트에서 검출 비용 0.081, 멀리서 말할 때는 0.091를 기록하여 종합적으로 2위를 기록하였다.
• 제안된 MDTC 기반 KWS 모델은 공식 PVTC2020 베이스라인에 비해 크게 승승하고, 특히 검출 비용과 예측 불가능한 조건에 대한 일반화 능력 측면에서 뛰어난 성능을 보였다.
• 개발 세트의 음성 샘플을 KWS 학습에 사용함으로써 성능 향상이 크게 이루어졌으며, 이는 평가 세트와의 도메인 일치도 향상되었음을 시사한다.
• ArcFace와 감독 대비 손실을 사용한 SV 시스템은 가까이서 말할 때 등가 오류률(EER)을 0.821%로 줄였고, 멀리서 말할 때는 1.423%로 기록하여 베이스라인을 초월하였다.
• KWS의 실시간 요소는 0.05, SV의 실시간 요소는 0.07로 매우 낮아 엣지 배포에 적합한 높은 추론 효율성을 보였다.
• 개발 세트에서의 성능이 평가 세트보다 뛰어난 것은 평가 데이터에 더 높은 발화자 다양성과 더 높은 시도 복잡도가 있기 때문일 것이다.