[논문 리뷰] ResNeXt and Res2Net Structures for Speaker Verification

Tianyan Zhou, Yong Zhao외 1명|arXiv (Cornell University)|2020. 07. 06.

Speech Recognition and Synthesis참고 문헌 20인용 수 13

한 줄 요약

이 논문은 텍스트 독립적 발화자 확인 시스템에 ResNeXt와 Res2Net 아키텍처를 통합하여 표현 능력을 향상시키는 것을 제안한다. 깊이와 너비 외에 카디널리티(ResNeXt)와 스케일(Res2Net)을 추가적인 차원으로 도입함으로써, 특히 짧은 발화와 조건 불일치 상황에서 뛰어난 성능을 달성한다. Res2Net은 VoxCeleb1에서 EER을 상대적으로 18.5% 감소시켰다.

ABSTRACT

The ResNet-based architecture has been widely adopted to extract speaker embeddings for text-independent speaker verification systems. By introducing the residual connections to the CNN and standardizing the residual blocks, the ResNet structure is capable of training deep networks to achieve highly competitive recognition performance. However, when the input feature space becomes more complicated, simply increasing the depth and width of the ResNet network may not fully realize its performance potential. In this paper, we present two extensions of the ResNet architecture, ResNeXt and Res2Net, for speaker verification. Originally proposed for image recognition, the ResNeXt and Res2Net introduce two more dimensions, cardinality and scale, in addition to depth and width, to improve the model's representation capacity. By increasing the scale dimension, the Res2Net model can represent multi-scale features with various granularities, which particularly facilitates speaker verification for short utterances. We evaluate our proposed systems on three speaker verification tasks. Experiments on the VoxCeleb test set demonstrated that the ResNeXt and Res2Net can significantly outperform the conventional ResNet model. The Res2Net model achieved superior performance by reducing the EER by 18.5% relative. Experiments on the other two internal test sets of mismatched conditions further confirmed the generalization of the ResNeXt and Res2Net architectures against noisy environment and segment length variations.

연구 동기 및 목표

• 깊이와 너비 외에 새로운 아키텍처 차원을 도입함으로써 ResNet을 확장하여 발화자 확인 성능을 향상시키는 것.
• ResNeXt의 카디널리티와 Res2Net의 스케일이 발화자 임베딩 추출 시 표현 학습에 기여하는지 조사하는 것.
• 짧은 발화, 노이즈, 다양한 마이크 거리 등 조건 불일치 상황에서의 일반화 성능 평가.
• 클래스 활성화 맵(CAM) 시각화를 통해 모델의 강건성과 특징 주의도 분석.
• 발화자 확인 작업에서 다중 척도 및 그룹화 컨볼루션 학습의 효과성 입증.

제안 방법

• 입력 특징의 발화 수준 평균 정규화를 적용한 ResNet 기반의 발화자 확인 기준 모델 채택.
• 군집화 컨볼루션을 사용해 카디널리티를 증가시키는 ResNeXt 블록으로 표준 잔차 블록을 대체함.
• 다양한 수신 영역을 가진 계층적으로 스택된 잔차 연결을 통합하여 다중 척도 특징 표현을 향상시키는 Res2Net 블록 통합.
• 변동 길이의 프레임 수준 표현에서 고정 길이의 발화 수준 임베딩을 생성하기 위해 주의 풀링 적용.
• 임베딩 품질을 최적화하기 위해 발화 구별 손실 기준을 사용해 모델 훈련.
• Grad-CAM을 활용해 청소하고 노이즈가 있는 조건에서의 음성 관련 영역에 대한 모델 집중도를 해석하기 위해 학습된 주의 맵 시각화.

실험 결과

연구 질문

• RQ1 표준 ResNet의 깊이 및 너비 확장을 대체로 ResNeXt의 카디널리티 증가가 발화자 확인 성능 향상에 기여하는가?
• RQ2 Res2Net의 스케일 차원이 특히 짧은 발화에 대해 표현 능력을 크게 향상시키는가?
• RQ3 노이즈, 짧은 세그먼트, 다양한 녹음 거리 등 조건 불일치 상황에서 ResNeXt와 Res2Net의 일반화 성능은 어떠한가?
• RQ4 주의 맵 시각화 결과에 따르면, 제안된 모델이 더 강건하고 구별력 있는 특징을 학습하는가?
• RQ5 Res2Net의 성능 향상은 다양한 음향 조건과 세그먼트 길이를 가진 다양한 테스트 세트에서 일관되게 유지되는가?

주요 결과

• Res2Net은 ResNet 기준 모델 대비 VoxCeleb1 테스트 세트에서 EER을 상대적으로 18.5% 감소시켜 1.78%에서 1.45%로 개선했다.
• 짧은 발화(2–4초)에서 Res2Net은 ResNet 대비 EER을 17.6% 감소시켰다(2초: 17.6%, 3초: 19.0%, 4초: 13.7%). 짧은 음성에서 뛰어난 성능을 보였다.
• 변동 길이 세그먼트를 가진 MS-SV 테스트 세트에서 Res2Net은 ResNet 대비 절대 EER 4.4% 감소 및 상대 EER 8.3% 감소를 달성했다.
• 내용 불일치 및 노이즈 조건이 존재하는 텍스트 의존 Cortana 테스트 세트에서 Res2Net은 EER을 상대적으로 4.5% 감소시켜(4.40% → 4.20%) ResNet 및 ResNeXt를 능가했다.
• Grad-CAM 시각화 결과, Res2Net은 음성 관련 영역에 더 집중하고 노이즈 조건에서도 안정적인 주의도를 유지함으로써 강건한 특징 학습을 이룬 것으로 나타났다.
• ResNeXt는 일관되지만 다소 보수적인 성능 향상을 보였고, Res2Net의 스케일 인식 아키텍처는 짧고 노이즈가 많은 입력을 처리하는 데 특히 효과적이었다.