[논문 리뷰] TMS: A Temporal Multi-scale Backbone Design for Speaker Embedding

Ruiteng Zhang, Jianguo Wei외 7명|arXiv (Cornell University)|2022. 03. 17.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 시간적 다중스케일 백본 설계인 TMS를 제안하며, 시간적 모델링과 채널 모델링을 분리하여 최소한의 계산 비용으로 다중스케일 특징을 효율적으로 통합한다. 더 큰 수용장역할을 가진 더 많은 분지와 재패aram터화 기법을 통해 더 빠른 추론을 가능하게 함으로써, VoxCeleb와 CNCeleb에서 최신 기준 성능을 달성하며 EER을 최대 1.3% 감소시키고 ECAPA-TDNN 대비 추론 속도를 29–46% 향상시켰다.

ABSTRACT

Speaker embedding is an important front-end module to explore discriminative speaker features for many speech applications where speaker information is needed. Current SOTA backbone networks for speaker embedding are designed to aggregate multi-scale features from an utterance with multi-branch network architectures for speaker representation. However, naively adding many branches of multi-scale features with the simple fully convolutional operation could not efficiently improve the performance due to the rapid increase of model parameters and computational complexity. Therefore, in the most current state-of-the-art network architectures, only a few branches corresponding to a limited number of temporal scales could be designed for speaker embeddings. To address this problem, in this paper, we propose an effective temporal multi-scale (TMS) model where multi-scale branches could be efficiently designed in a speaker embedding network almost without increasing computational costs. The new model is based on the conventional TDNN, where the network architecture is smartly separated into two modeling operators: a channel-modeling operator and a temporal multi-branch modeling operator. Adding temporal multi-scale in the temporal multi-branch operator needs only a little bit increase of the number of parameters, and thus save more computational budget for adding more branches with large temporal scales. Moreover, in the inference stage, we further developed a systemic re-parameterization method to convert the TMS-based model into a single-path-based topology in order to increase inference speed. We investigated the performance of the new TMS method for automatic speaker verification (ASV) on in-domain and out-of-domain conditions. Results show that the TMS-based model obtained a significant increase in the performance over the SOTA ASV models, meanwhile, had a faster inference speed.

연구 동기 및 목표

• 기존의 다중지점 네트워크가 시간적 수용장역할을 확장할수록 높은 파라미터와 계산 비용을 유발하는 문제를 해결하기 위해, 시간적 수용장역할 확장을 효율적으로 지원할 수 있는 설계가 필요하다.
• 계산 오버헤드를 크게 증가시키지 않으면서도 더 깊고 넓은 다중스케일 시간 분지를 포함한 화자 임베딩 백본 설계를 가능하게 하기 위해.
• 다중스케일 특징 학습을 향상시켜 외부 도메인 데이터에 대한 모델 일반화 능력을 향상시키기 위해.
• 다중지점 아키텍처를 단일 경로로 변환하는 재패aram터화 전략을 통해 추론 속도를 가속화하기 위해.

제안 방법

• TMS 모듈은 표준 TDNN을 두 개의 독립된 연산자로 분해한다: 채널 모델링 연산자와 시간적 다중지점 모델링 연산자.
• 시간적 다중지점 연산자는 커널 크기가 점차 증가하는 확장된 1D 컨벌루션을 적용하여 다중스케일 시간적 맥락을 여러 지점에서 캡처한다.
• 채널 모델링 연산자는 포인트와이즈 컨벌루션을 사용하여 채널 간 관계를 모델링하며, 시간 모델링과 분리되어 복잡도를 감소시킨다.
• 학습 후 재패aram터화 기법을 적용하여 다중지점 아키텍처를 단일 경로 구조로 통합함으로써 더 빠른 추론을 가능하게 한다.
• 이 방법은 E-TDNN 및 Res2Net 기반 백본(예: Rep-E-TMS-TDNN 및 Rep-A-TMS-TDNN)에 통합되었으며, 추가 성능 향상을 위해 적응형 배치 정규화와 스queeze-Excitation 블록을 적용하였다.
• 모델은 AM-Softmax 손실을 사용하여 훈련되었으며, 도메인 내 및 도메인 외 조건에서 VoxCeleb 및 CNCeleb 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 다중지점 시간 모델링 설계를 얼마나 효율적으로 개선할 수 있을까? 특히 큰 시간 수용장역할을 가진 많은 지점들을 지원할 수 있는가?
• RQ2 채널 모델링과 시간 모델링을 분리함으로써 다중스케일 화자 임베딩 네트워크의 효율성과 확장성은 향상되는가?
• RQ3 다중지점 네트워크의 재패aram터화가 성능 손실 없이 상당한 추론 속도 향상을 이룰 수 있는가?
• RQ4 TMS 기반 모델은 도메인 외부 데이터에서 ECAPA-TDNN보다 더 우수한 일반화 성능을 보이는가?
• RQ5 TMS 모듈의 지점 수가 다양한 평가 세트에서 성능에 어떤 영향을 미치는가?

주요 결과

• 4개의 지점을 가진 Rep-E-TMS-TDNN 모델은 VoxCeleb1-test에서 EER 1.44%를 달성하여 기준 E-TDNN(1.65%) 및 ECAPA-TDNN을 능가했다.
• 도메인 외부 데이터인 CNCeleb 세트에서 TMS 모델은 ECAPA-TDNN 대비 EER을 1.3%포인트 감소시켜 뛰어난 일반화 능력을 입증했다.
• 재패aram터화를 통해 단일 경로 아키텍처로 전환된 TMS 기반 모델은 ECAPA-TDNN 대비 추론 속도를 29–46% 향상시켰다.
• 제거 실험 결과, 4개 지점을 가진 TMS 모듈이 성능 향상에 크게 기여했으며, SE-Block과 AS-Norm이 추가로 강건성을 향상시켰다.
• 4개 지점을 가진 모델은 VoxCeleb1-test에서 minDCF2 값 0.1685, VoxCeleb1-E에서 0.1626, VoxCeleb1-H에서 0.2431을 기록하여 모두 ECAPA-TDNN 및 E-TDNN 기준보다 낮았다.
• 재패aram터화된 TMS 모델은 추론 지연을 크게 줄였으며 성능은 유지 또는 향상시켰다. 이는 실시간 응용 분야에서 효과적임을 입증했다.