[논문 리뷰] Decomposed Temporal Dynamic CNN: Efficient Time-Adaptive Network for Text-Independent Speaker Verification Explained with Speaker Activation Map

Seong-Hu Kim, Hyeonuk Nam외 1명|arXiv (Cornell University)|2022. 03. 29.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 행렬 분해를 통해 시간 적응형 합성곱 커널을 정적 및 동적 잔차 성분으로 분해함으로써 텍스트 독립적 화자 확인 성능을 향상시키는 효율적이고 경량의 아키텍처인 분해된 시간 동적 컨볼루션 신경망(DTDY-CNN)을 제안한다. 이 방법은 모델 크기를 64% 감소시키면서 LibriTTS 데이터셋에서 0.96%의 EER을 달성하여 이전 최고 성능 모델들을 능가한다. 또한 화자 활성 맵(SAM)을 통해 화자 식별에 기여하는 핵심 스펙트럼 특징을 시각화함으로써 해석 가능성을 제공한다.

ABSTRACT

To extract accurate speaker information for text-independent speaker verification, temporal dynamic CNNs (TDY-CNNs) adapting kernels to each time bin was proposed. However, model size of TDY-CNN is too large and the adaptive kernel's degree of freedom is limited. To address these limitations, we propose decomposed temporal dynamic CNNs (DTDY-CNNs) which forms time-adaptive kernel by combining static kernel with dynamic residual based on matrix decomposition. Proposed DTDY-ResNet-34(x0.50) using attentive statistical pooling without data augmentation shows EER of 0.96%, which is better than other state-of-the-art methods. DTDY-CNNs are successful upgrade of TDY-CNNs, reducing the model size by 64% and enhancing the performance. We showed that DTDY-CNNs extract more accurate frame-level speaker embeddings as well compared to TDY-CNNs. Detailed behaviors of DTDY-ResNet-34(x0.50) on extraction of speaker information were analyzed using speaker activation map (SAM) produced by modified gradient-weighted class activation mapping (Grad-CAM) for speaker verification. DTDY-ResNet-34(x0.50) effectively extracts speaker information from not only formant frequencies but also high frequency information of unvoiced phonemes, thus explaining its outstanding performance on text-independent speaker verification.

연구 동기 및 목표

• 기존의 시간 동적 컨볼루션 신경망(TDY-CNN)이 텍스트 독립적 화자 확인에서 큰 모델 크기와 제한된 파라미터 효율성 문제를 해결하기 위해.
• 시간 적응형 합성곱의 커널을 정적 및 동적 잔차 성분으로 분해함으로써 시간 적응형 합성곱의 표현 능력을 향상시키기 위해.
• 기울기 가중 클래스 활성 맵(Grad-CAM) 기반의 새로운 화자 활성 맵(SAM)을 통해 모델의 해석 가능성을 제공하기 위해.
• 특히 도전적인 텍스트 독립 기준 평가에서 데이터 증강 기법에 의존하지 않고 최고 성능을 달성하기 위해.

제안 방법

• DTDY-CNN는 공유 정적 커널과 행렬 분해를 통해 학습된 동적 잔차 성분을 조합하여 시간 적응형 커널을 구성한다.
• 동적 잔차 성분은 각 시간 빔마다 계산되어 시계열 동안 다른 스펙트럼 영역을 적응적으로 강조할 수 있도록 한다.
• 성능을 유지하면서도 FLOPs와 모델 크기를 줄이기 위해 너비 배수 x0.50를 적용한 수정된 ResNet-34 백본을 사용한다.
• 프레임 수준의 임베딩을 문장 수준 표현으로 집계하기 위해 주의 기반 통계 풀링을 적용한다.
• 수정된 Grad-CAM 기법을 사용하여 화자 활성 맵(SAM)을 생성하여 어떤 스펙트로그램 영역이 화자 식별에 가장 기여하는지 시각화한다.
• 모델은 데이터 증강 없이 LibriTTS에서 엔드 투 엔드로 훈련되어 강력하고 일반화 가능한 화자 임베딩을 학습하는 데 집중한다.

실험 결과

연구 질문

• RQ1 분해된 커널 메커니즘이 시간 동적 컨볼루션 신경망의 파라미터 수를 줄이면서도 텍스트 독립적 화자 확인 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 DTDY-CNN의 동적 잔차 성분은 시간 빔 간에 어떻게 변화하여 화자 임베딩 품질을 향상시키는가?
• RQ3 화자 식별에 가장 두드러진 영향을 미치는 스펙트럼 영역는 무엇이며, 이는 해석 가능한 활성 맵을 통해 시각화할 수 있는가?
• RQ4 제안된 방법이 데이터 증강 기법에 의존하지 않고도 최고 성능을 달성할 수 있는가?
• RQ5 고주파 성분과 형성 주파수 영역가 제안된 아키텍처에서 화자 확인에 얼마나 기여하는가?

주요 결과

• DTDY-ResNet-34(x0.50)는 LibriTTS 테스트 세트에서 0.96%의 동등 오류율(EER)을 달성하여 데이터 증강 없이도 모든 이전 최고 성능 모델들을 능가한다.
• 기존 TDY-CNN 대비 파라미터 수를 64% 감소시켜 효율성을 크게 향상시켰다.
• DTDY-CNN가 추출한 프레임 수준의 화자 임베딩은 활성 맵 분석을 통해 TDY-CNN보다 더 정확하고 구별성이 높다는 것이 확인되었다.
• 화자 활성 맵(SAM)은 모델이 형성 주파수와 비음성 음소에서 유도된 고주파 에너지를 효과적으로 활용하여 화자 식별에 기여하고 있음을 드러냈다.
• 동적 잔차 성분은 시간 빔 간에 미세한 적응을 가능하게 하여 네트워크가 다양한 발음 위치에서 화자 특화 스펙트럼 신호에 집중할 수 있도록 했다.
• 이 방법은 데이터 증강 없이도 청소된 훈련 환경에서 뛰어난 강건성과 일반화 능력을 보이며 최상의 성능을 달성했다.