[論文レビュー] ReDimNet2: Scaling Speaker Verification via Time-Pooled Dimension Reshaping

Ivan Yakovlev, Anton Okhotnikov|arXiv (Cornell University)|Mar 12, 2026

Speech Recognition and Synthesis被引用数 0

ひとこと要約

ReDimNet2はReDimNetの1D処理経路に時間プーリングを導入し、計算予算に匹敵する条件でスピーカ認証の精度を改善するため aggressiveなチャンネルスケーリングを可能にする。VoxCeleb1のベンチマークで7設定（B0–B6）における最先端の効率-精度トレードオフを達成。

ABSTRACT

We present ReDimNet2, an improved neural network architecture for extracting utterance-level speaker representations that builds upon the ReDimNet dimension-reshaping framework. The key modification in ReDimNet2 is the introduction of pooling over the time dimension within the 1D processing pathway. This operation preserves the nature of the 1D feature space, since 1D features remain a reshaped version of 2D features regardless of temporal resolution, while enabling significantly more aggressive scaling of the channel dimension without proportional compute increase. We introduce a family of seven model configurations (B0-B6) ranging from 1.1M to 12.3M parameters and 0.33 to 13 GMACS. Experimental results on VoxCeleb1 benchmarks demonstrate that ReDimNet2 improves the Pareto front of computational cost versus accuracy at every scale point compared to ReDimNet, achieving 0.287% EER on Vox1-O with 12.3M parameters and 13 GMACS.

研究の動機と目的

• スピーカ認証のための次元再整形アーキテクチャのスケーリングを動機付ける。
• 固定計算予算の下でより広いチャネル次元を解放するために1D処理経路内で時間プーリングを提案する。
• Pareto前線上でReDimNetに対してGMACが同条件のとき精度を改善することを示す。
• 大規模SSLモデルと比較して外部ドメイン一般化と効率性が競合することを示す。

提案手法

• 1D経路において時間プーリングを導入し、周波数のダウンサンプリングに用いられるのと同じストライドd2d層を使用する。
• 異なる時系列長を揃えるため集約点で最近傍補間によるアップサンプリングを用いて残差接続を維持する。
• 1Dの計算を減らし2D表現を圧縮することで時間プーリングが可能となり、攻撃的なチャンネルスケーリング（Cの増加）を許す。
• 7つの設定（B0–B6）を評価し、0.33～13 GMAC、1.1M～12.3Mパラメータを対象とする。
• augmentation付き事前学習と大域マージンファインチューニングを含む2段階パイプラインでVoxCeleb2を用いて訓練する。
• VoxCeleb1のクリーン化プロトコル（Vox1-O、Vox1-E、Vox1-H）および2秒入力で測定したGMACでのEERを報告する。

実験結果

リサーチクエスチョン

• RQ1 1D経路における時間プーリングはチャネル次元のより効率的なスケーリングを、表現品質を損なうことなく可能にするか。
• RQ2 Pareto前線でReDimNet2は同等の計算予算下でReDimNetと比べて精度を改善できるか。
• RQ3 時間プーリングは外部ドメイン一般化にどのように影響するか。
• RQ4 小〜大規模設定における訓練の安定性とモデルサイズに対する時間プーリングの影響はどうか。

主な発見

• ReDimNet2は、対応するReDimNetよりもB0–B6全配置で一致する計算予算の下で一貫して低いEERを達成する。
• ReDimNet2-B6は12.3Mパラメータと13 GMACでVox1-Oで0.29% EERを達成し、ReDimNet-B6より相対的に28%改善。
• 時間プーリングによりより攻撃的なチャネルスケーリングが可能となり、同じGMACで識別性が向上する。
• 外部ドメイン試験（SITW、VOiCES、VoxCeleb1-B）において、ReDimNet2-B6はReDimNet-B6より低いEERを示し、一般化の維持を示唆する。
• SSL的Largeモデルと比べ、ReDimNet2はパラメータ数が大幅に少ない状態で競争力のある精度を提供する（例えばWavLM/W2V-BERT 2.0に一部の領域で近づくが、はるかに小さい）。
• 小型モデルでは訓練安定性が高いが、大型ではばらつきが増える傾向があり、規制強化がスケール時に有効かもしれない。