[논문 리뷰] TitaNet: Neural Model for speaker representation with 1D Depth-wise separable convolutions and global context

Nithin Rao Koluguri, Taejin Park외 1명|arXiv (Cornell University)|2021. 10. 08.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

TitaNet는 1D 깊이 분리형 합성곱과 압축 및 자극(SE) 모듈, 채널 주의 풀링을 사용하여 가변 길이의 발화에서 고정 길이의 t-벡터를 추출하는 경량이며 확장 가능한 신경망입니다. VoxCeleb1에서 EER 0.68%와 CH109에서 DER 1.11%의 최신 기술 수준(SOTA) 성능을 달성하며, 소형 TitaNet-S 버전(600만 파라미터)은 최소한의 계산 비용으로 거의 SOTA 성능을 기록합니다.

ABSTRACT

In this paper, we propose TitaNet, a novel neural network architecture for extracting speaker representations. We employ 1D depth-wise separable convolutions with Squeeze-and-Excitation (SE) layers with global context followed by channel attention based statistics pooling layer to map variable-length utterances to a fixed-length embedding (t-vector). TitaNet is a scalable architecture and achieves state-of-the-art performance on speaker verification task with an equal error rate (EER) of 0.68% on the VoxCeleb1 trial file and also on speaker diarization tasks with diarization error rate (DER) of 1.73% on AMI-MixHeadset, 1.99% on AMI-Lapel and 1.11% on CH109. Furthermore, we investigate various sizes of TitaNet and present a light TitaNet-S model with only 6M parameters that achieve near state-of-the-art results in diarization tasks.

연구 동기 및 목표

• 말하기 확인 및 다이아라이제이션 작업 모두에서 기존 모델을 능가하는 확장 가능하고 효율적인 신경망을 개발하여 말하기 표현 학습을 위한 모델을 개발한다.
• 전역 평균 풀링과 함께 압축 및 자극(SE) 모듈을 사용하여 전역 맥락을 통합함으로써 말하기 표현 품질을 향상시키는 말하기 임베딩 아키텍처를 설계한다.
• 깊이 분리형 합성곱과 너비 스케일링을 사용하여 모델 크기를 줄이되 성능을 유지함으로써 자원이 제한된 환경에서의 구현을 가능하게 한다.
• 말하기 확인 및 다이아라이제이션 파ip라인에서 PLDA나 AHC와 같은 외부 모델이 필요 없도록 엔드 투 엔드로 훈련하고, 각도 기반 소프트맥스 손실과 코사인 유사도를 백엔드로 사용한다.

제안 방법

• 모델은 파rameter 수를 줄이면서도 국소적 특징 추출 능력을 유지하기 위해 1D 깊이 분리형 합성곱을 사용한다.
• 각 잔차 블록 이후에 압축 및 자극(SE) 모듈을 적용하며, 전역 평균 풀링을 사용해 전역 맥락 벡터를 계산하고 채널 기반 특징 반응을 재조정한다.
• 채널 주의 기반 통계 풀링 레이어는 학습된 주의 가중치를 사용해 시간 분포 특징을 채널 간에 집계하여 발화 수준의 임베딩을 계산한다.
• 아키텍처는 컨텍스트넷 기반으로, 프로로그 블록, 반복된 깊이 분리형 및 포인트 와이즈 합성곱을 포함한 다수의 메가 블록, 그리고 엔도프 블록을 포함하며, 모든 레이어에 잔차 연결이 적용된다.
• 모델의 깊이와 너비는 반복된 서브블록 수(R)와 필터 채널 수(C)로 제어되어 쉽게 스케일링이 가능하다.
• 엔드 투 엔드 훈련은 각도 기반 소프트맥스 마진 손실을 사용하고, 추론 시에는 코사인 유사도를 사용해 말하기 간 비교를 수행한다.

Fig. 1 : TitaNet Encoder and Decoder Architecture

실험 결과

연구 질문

• RQ1 전체 TDNN 또는 전체 합성곱 레이어와 비교해 1D 깊이 분리형 합성곱과 전역 맥락 모델링이 말하기 임베딩 품질을 향상시키는가?
• RQ2 전역 평균 풀링과 함께 압축 및 자극 모듈을 통합함으로써 장거리 의존성을 포착함으로써 말하기 표현이 향상되는가?
• RQ3 단지 600만 파라미터를 가진 경량 TitaNet-S 모델이 말하기 다이아라이제이션 작업에서 거의 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 각도 기반 소프트맥스 손실을 사용한 엔드 투 엔드 훈련이 말하기 확인 및 다이아라이제이션 파이프라인에서 PLDA나 AHC와 같은 외부 모델이 필요 없도록 하는 데 얼마나 기여하는가?
• RQ5 말하기 표현 학습에서 너비 대비 깊이 스케일링이 성능과 파라미터 효율성에 어떤 영향을 미치는가?

주요 결과

• TitaNet-L은 VoxCeleb1 클린드 트라이얼 파일에서 최신 기술 수준의 등오류율(EER) 0.68%를 기록하며 기존 모델을 능가한다.
• TitaNet-M는 ECAPA-TDNN의 절반 크기이지만, AMI-MixHeadset에서 DER 1.73%, AMI-Lapel에서 1.99%, CH109에서 1.11%를 기록한다.
• 소형 TitaNet-S 모델(600만 파라미터)은 NIST-SRE-2000에서 DER 1.42%, AMI-MixHeadset에서 1.97%를 기록하여 뛰어난 효율-정확도 트레이드오프를 보여준다.
• 모델을 축소해도 성능 저하가 거의 없으며, TitaNet-S와 TitaNet-M는 각각 2배와 4배의 파라미터 감소에도 불구하고 DER에서 미미한 차이만 보인다.
• TitaNet은 x-vector 및 ECAPA-TDNN 기준 모델보다 모든 다이아라이제이션 데이터셋에서 성능이 뛰어나며, NME-SC 클러스터링의 알려지지 않은 말하기자 수 설정에서도 마찬가지다.
• 엔드 투 엔드 훈련을 통해 각도 기반 소프트맥스 손실과 코사인 유사도를 사용함으로써 PLDA나 AHC 외부 모델이 필요 없어지며, 파이프라인을 단순화시킨다.

Fig. 2 : DET curve for VoxCeleb1 cleaned trial comparing with previous studies