[論文レビュー] ResNeXt and Res2Net Structures for Speaker Verification

Tianyan Zhou, Yong Zhao+1 more|arXiv (Cornell University)|Jul 6, 2020

Speech Recognition and Synthesis参考文献 20被引用数 13

ひとこと要約

本稿では、深さと幅の次元を超えて、基数（ResNeXt）とスケール（Res2Net）を追加次元として導入することで、テキスト非依存話者認証システムの表現能力を向上させる手法を提案する。これらのアーキテクチャを統合することで、特に短い発話や不一致条件において優れた性能を達成し、VoxCeleb1でEERが相対的に18.5%低減された。

ABSTRACT

The ResNet-based architecture has been widely adopted to extract speaker embeddings for text-independent speaker verification systems. By introducing the residual connections to the CNN and standardizing the residual blocks, the ResNet structure is capable of training deep networks to achieve highly competitive recognition performance. However, when the input feature space becomes more complicated, simply increasing the depth and width of the ResNet network may not fully realize its performance potential. In this paper, we present two extensions of the ResNet architecture, ResNeXt and Res2Net, for speaker verification. Originally proposed for image recognition, the ResNeXt and Res2Net introduce two more dimensions, cardinality and scale, in addition to depth and width, to improve the model's representation capacity. By increasing the scale dimension, the Res2Net model can represent multi-scale features with various granularities, which particularly facilitates speaker verification for short utterances. We evaluate our proposed systems on three speaker verification tasks. Experiments on the VoxCeleb test set demonstrated that the ResNeXt and Res2Net can significantly outperform the conventional ResNet model. The Res2Net model achieved superior performance by reducing the EER by 18.5% relative. Experiments on the other two internal test sets of mismatched conditions further confirmed the generalization of the ResNeXt and Res2Net architectures against noisy environment and segment length variations.

研究の動機と目的

• 深さと幅の次元を超えた新たなアーキテクチャ的次元を導入することで、ResNetを拡張し、話者認証の性能を向上させること。
• ResNeXtの基数とRes2Netのスケールが、話者埋め込み抽出における表現学習をどのように向上させるかを調査すること。
• 短い発話、ノイズ、マイク距離の変動といった不一致条件における汎化性能を評価すること。
• クラス活性マッピング（CAM）可視化を用いて、モデルのロバスト性と特徴への注目度を分析すること。
• 話者認証タスクにおけるマルチスケールおよびグループ化畳み込み学習の有効性を示すこと。

提案手法

• 入力特徴の発話レベル平均正規化を施したResNetベースの話者認証ベースラインを採用する。
• グループ畳み込みを用いて基数を増加させるResNeXtブロックに、標準的な残差ブロックを置き換える。
• 可変な受容 field を持つ階層的な残差接続を統合することで、マルチスケール特徴表現を強化するRes2Netブロックを導入する。
• 可変長フレームレベル表現から固定長の発話レベル埋め込みを生成するために、注目プーリングを適用する。
• 埋め込み品質を最適化するために、話者判別型損失基準を用いてモデルを学習する。
• Grad-CAMを用いて、学習された注目マップを可視化し、クリアな状態とノイズ状態の両方でモデルが音声関連領域にどのように注目しているかを解釈する。

実験結果

リサーチクエスチョン

• RQ1 標準的なResNetにおける深さと幅の拡張と比較して、ResNeXtにおける基数の増加が話者認証性能の向上に寄与するか。
• RQ2 Res2Netにおけるスケール次元が、特に短い発話において表現能力を顕著に向上させるか。
• RQ3 ノイズ、短いセグメント、記録距離の変動といった不一致条件において、ResNeXtとRes2Netはどのように汎化するか。
• RQ4 注目マップ可視化によって示されるように、提案されたモデルはよりロバストで判別力のある特徴を学習しているか。
• RQ5 Res2Netの性能向上は、音声条件やセグメント長が異なる多様なテストセットにおいて一貫しているか。

主な発見

• VoxCeleb1テストセットにおいて、Res2NetはResNetベースラインと比較してEERが相対的に18.5%低減（1.78%から1.45%に）された。
• 短い発話（2–4秒）において、Res2NetはResNetと比較してEERを2秒で17.6%、3秒で19.0%、4秒で13.7%それぞれ相対的に低減し、短い音声でも優れた性能を示した。
• 変動するセグメント長を有するMS-SVテストセットにおいて、Res2NetはResNetと比較してEERを絶対的に4.4%、相対的に8.3%低減した。
• コンテンツと条件が不一致でノイズ環境下にあるテキスト依存Cortanaテストセットにおいて、Res2NetはEERを相対的に4.5%低減（4.40%から4.20%に）し、ResNetおよびResNeXtを上回った。
• Grad-CAM可視化により、Res2Netは音声関連領域により注目しており、ノイズ下でも安定した注目を維持していることが示され、ロバストな特徴学習が行われていることが裏付けられた。
• ResNeXtは一貫したがやや控えめな向上を示したが、Res2Netのスケールに敏感なアーキテクチャは、短い発話およびノイズ環境下の入力処理において特に効果的であった。