[論文レビュー] TMS: A Temporal Multi-scale Backbone Design for Speaker Embedding

Ruiteng Zhang, Jianguo Wei+7 more|arXiv (Cornell University)|Mar 17, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本論文は、時間的およびチャネルモデリングを分離することで、最小限の計算コストでマルチスケール特徴を効率的に統合できる、スピーカーエンベッディング向けの時間的マルチスケールバックボーン設計TMSを提案する。より多くの分岐と大きな受容 field を実現し、推論を高速化する再パrameterization を用いることで、VoxCeleb および CNCeleb において最先端の性能を達成し、EER を最大 1.3% 減少させるとともに、ECAPA-TDNN より推論速度を 29–46% 向上させた。

ABSTRACT

Speaker embedding is an important front-end module to explore discriminative speaker features for many speech applications where speaker information is needed. Current SOTA backbone networks for speaker embedding are designed to aggregate multi-scale features from an utterance with multi-branch network architectures for speaker representation. However, naively adding many branches of multi-scale features with the simple fully convolutional operation could not efficiently improve the performance due to the rapid increase of model parameters and computational complexity. Therefore, in the most current state-of-the-art network architectures, only a few branches corresponding to a limited number of temporal scales could be designed for speaker embeddings. To address this problem, in this paper, we propose an effective temporal multi-scale (TMS) model where multi-scale branches could be efficiently designed in a speaker embedding network almost without increasing computational costs. The new model is based on the conventional TDNN, where the network architecture is smartly separated into two modeling operators: a channel-modeling operator and a temporal multi-branch modeling operator. Adding temporal multi-scale in the temporal multi-branch operator needs only a little bit increase of the number of parameters, and thus save more computational budget for adding more branches with large temporal scales. Moreover, in the inference stage, we further developed a systemic re-parameterization method to convert the TMS-based model into a single-path-based topology in order to increase inference speed. We investigated the performance of the new TMS method for automatic speaker verification (ASV) on in-domain and out-of-domain conditions. Results show that the TMS-based model obtained a significant increase in the performance over the SOTA ASV models, meanwhile, had a faster inference speed.

研究の動機と目的

• スケーリングされた時間的受容 field を備えた既存のマルチブランチネットワークが、パラメータ数と計算コストの点で非効率である問題に対処すること。
• 計算オーバーヘッドを著しく増加させることなく、スフィアーエンベッディングバックボーンにより深く、広いマルチスケール時間的ブランチを設計可能にする。
• マルチスケール特徴学習の向上により、ドメイン外データに対するモデルの汎化性能を向上させること。
• マルチブランチアーキテクチャを単一路構造に変換する再パrameterization 戦略により、推論速度を向上させること。

提案手法

• TMS モジュールは、標準的な TDNN を2つの独立した演算子に分解する：チャネルモデリング演算子と時間的マルチブランチモデリング演算子。
• 時間的マルチブランチ演算子は、増加するカーネルサイズを持つ空洞 1D 畳み込みを複数のブランチに適用し、複数のスケールの時間的コンテキストを捉える。
• チャネルモデリング演算子はポイントワイド畳み込みを用い、チャネル間の関係をモデル化し、時間的モデリングから分離することで複雑性を低減する。
• トレーニング後に再パrameterization 法を適用し、複数のブランチ構造を等価な単一路構造に統合し、高速な推論を可能にする。
• この手法は E-TDNN および Res2Net ベースのバックボーン（例：Rep-E-TMS-TDNN および Rep-A-TMS-TDNN）に統合され、さらに性能向上のためのアダプティブバッチ正規化とスクイーズ・エクスカレーションブロックが適用された。
• モデルは AM-Softmax 損失を用いて学習され、ドメイン内およびドメイン外の条件の下で VoxCeleb および CNCeleb データセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 多くの分岐と大きな時間的受容 field を備えたマルチブランチ時間モデリング設計は、計算コストを抑えて十分に効率化可能か？
• RQ2 チャネルモデリングと時間的モデリングを分離することで、マルチスケールスフィアーエンベッディングネットワークの効率性とスケーラビリティが向上するか？
• RQ3 マルチブランチネットワークの再パrameterization により、性能を損なわず大幅な推論速度向上が達成可能か？
• RQ4 TMS を用いたモデルは、ドメイン外データにおいて ECAPA-TDNN よりも優れた汎化性能を示すか？
• RQ5 TMS モジュールの分岐数は、異なる評価セットにおける性能にどのように影響するか？

主な発見

• 4分岐の Rep-E-TMS-TDNN モデルは、VoxCeleb1-test で EER 1.44% を達成し、ベースラインの E-TDNN (1.65%) や ECAPA-TDNN を上回った。
• ドメイン外の CNCeleb データセットでは、TMS モデルが ECAPA-TDNN よりも EER を 1.3 パcent point 減少させ、優れた汎化性能を示した。
• 再パrameterization を通じて単一路トポロジーに変換されたことにより、TMS ベースのモデルは ECAPA-TDNN よりも 29–46% の推論速度向上を達成した。
• アブレーションスタディの結果、4分岐の TMS モジュールが性能を顕著に向上させたことが確認され、SE-Block と AS-Norm がさらにロバストネスを向上させた。
• 4分岐のモデルは、VoxCeleb1-test で minDCF2 値 0.1685、VoxCeleb1-E で 0.1626、VoxCeleb1-H で 0.2431 を達成し、いずれも ECAPA-TDNN や E-TDNN ベースラインを下回った。
• 再パrameter化された TMS モデルは、推論遅延を著しく削減しながらも、性能を維持または向上させたため、リアルタイム応用に有効であることが証明された。