[논문 리뷰] ReDimNet2: Scaling Speaker Verification via Time-Pooled Dimension Reshaping

Ivan Yakovlev, Anton Okhotnikov|arXiv (Cornell University)|2026. 03. 12.

Speech Recognition and Synthesis인용 수 0

한 줄 요약

ReDimNet2은 ReDimNet의 1D 처리 경로에 시간 풀링을 도입하여 스피커 검증에서 매칭된 계산 예산에서 공격적으로 채널 스케일링을 수행하고 더 나은 정확도를 달성한다. VoxCeleb1 벤치마크에서 7가지 구성(B0–B6) 전반에 걸쳐 최첨단 효율-정확도 트레이드오프를 달성한다.

ABSTRACT

We present ReDimNet2, an improved neural network architecture for extracting utterance-level speaker representations that builds upon the ReDimNet dimension-reshaping framework. The key modification in ReDimNet2 is the introduction of pooling over the time dimension within the 1D processing pathway. This operation preserves the nature of the 1D feature space, since 1D features remain a reshaped version of 2D features regardless of temporal resolution, while enabling significantly more aggressive scaling of the channel dimension without proportional compute increase. We introduce a family of seven model configurations (B0-B6) ranging from 1.1M to 12.3M parameters and 0.33 to 13 GMACS. Experimental results on VoxCeleb1 benchmarks demonstrate that ReDimNet2 improves the Pareto front of computational cost versus accuracy at every scale point compared to ReDimNet, achieving 0.287% EER on Vox1-O with 12.3M parameters and 13 GMACS.

연구 동기 및 목표

• 스피커 검증을 위한 차원 재형성 아키텍처의 확장을 촉진하기.
• 고정된 계산 예산에서 더 넓은 채널 차원을 열기 위해 1D 처리 경로 내에 시간 풀링을 제안하기.
• ReDimNet 대비 매칭 GMAC에서 Pareto 프런트를 넘어선 향상된 정확도를 입증하기.
• 대형 SSL 모델 대비 강한 도메인 외 일반화와 경쟁력 있는 효율성을 보이기.

제안 방법

• 주파수 하다운샘플링에 사용된 동일한 stride conv2d 계층을 사용하여 1D 경로에 시간 풀링을 적용해 ReDimNet을 확장한다.
• 다른 시간 길이를 정렬하기 위해 집계 지점에서 최근접 이웃 업샘플링으로 잔차 연결을 유지한다.
• 1D에서 계산을 줄이고 2D 표현을 압축하기 때문에 공격적인 채널 확장(C 증가)을 허용한다.
• 0.33에서 13 GMACs 및 1.1M에서 12.3M 파라미터에 걸친 7개 구성(B0–B6)을 평가한다.
• VoxCeleb2로 두 단계 파이프라인으로 학습한다(증강이 있는 사전 학습 및 대형 마진 파인튜닝).
• VoxCeleb1 정제 프로토콜(Vox1-O, Vox1-E, Vox1-H)에서의 EER 및 2초 입력에서 측정된 GMAC를 보고한다.

실험 결과

연구 질문

• RQ1 1D 경로의 시간 풀링이 표현 품질에 손상을 주지 않으면서 채널 차원의 더 효율적인 확장을 가능하게 하는가?
• RQ2 Pareto 프런트를 따라 ReDimNet2가 동등한 컴퓨트 예산에서 ReDimNet 대비 정확도를 향상시키는가?
• RQ3 시간 풀링이 스피커 검증의 도메인 외 일반화에 어떤 영향을 미치는가?
• RQ4 소형에서 대형 구성을 아우르는 훈련 안정성 및 모델 크기에 대한 시간 풀링의 영향은 무엇인가?

주요 결과

• ReDimNet2는 B0–B6 구성 전반에서 매칭된 계산 예산에서 일관되게 해당하는 ReDimNet보다 EER이 더 낮다.
• ReDimNet2-B6은 Vox1-O에서 12.3M 파라미터와 13 GMACs로 0.29% EER을 달성하여 ReDimNet-B6에 비해 상대적으로 28% 향상됐다.
• 시간 풀링은 더 공격적인 채널 스케일링을 가능하게 하여 동일 GMAC에서 더 나은 식별력을 제공한다.
• 도메인 외 테스트(SITW, VOiCES, VoxCeleb1-B)에서 ReDimNet2-B6가 ReDimNet-B6보다 낮은 EER을 보여 일반화가 보존됨을 시사한다.
• SSL 유사 대형 모델과 비교할 때, ReDimNet2는 적은 파라미터로도 경쟁력 있는 정확도를 제공한다(일부 구간에서 WavLM/W2V-BERT 2.0에 근접하나 훨씬 작다).
• 소형 모델에 대해서는 훈련 안정성이 강하지만 대형 모델에서는 변동성이 더 커 extra regularization이 필요할 수 있다.