[論文レビュー] SpeakerNet: 1D Depth-wise Separable Convolutional Network for Text-Independent Speaker Recognition and Verification

Nithin Rao Koluguri, Jason Li+2 more|arXiv (Cornell University)|Oct 23, 2020

Speech Recognition and Synthesis参考文献 22被引用数 29

ひとこと要約

SpeakerNetは、x-vectorスタイルの統計プーリングを用いたQuartzNetベースのエンコーダーを活用し、テキストに依存しない話者認識および検証のための軽量で1次元のディープ・ワイズ分離畳み込みネットワークを提案する。音声活動検出（VAD）を用いないにもかかわらず、8秒未満の入力セグメントを用い、VADを必要としないにもかかわらず、VoxCeleb1クリーンドセットで2.10%、VoxCeleb1トライアルセットで2.29%のEERを達成し、最先端の性能を実現している。SpeakerNet-Mバージョンではわずか500万パラメータで実現している。

ABSTRACT

We propose SpeakerNet - a new neural architecture for speaker recognition and speaker verification tasks. It is composed of residual blocks with 1D depth-wise separable convolutions, batch-normalization, and ReLU layers. This architecture uses x-vector based statistics pooling layer to map variable-length utterances to a fixed-length embedding (q-vector). SpeakerNet-M is a simple lightweight model with just 5M parameters. It doesn't use voice activity detection (VAD) and achieves close to state-of-the-art performance scoring an Equal Error Rate (EER) of 2.10% on the VoxCeleb1 cleaned and 2.29% on the VoxCeleb1 trial files.

研究の動機と目的

• 音声活動検出（VAD）に依存しない、軽量でエンド・ツー・エンドのニューラルネットワークを、テキストに依存しない話者認識および検証のため開発すること。
• トレーニング時間、入力発話長、および検証性能（EER）のトレードオフを調査すること。
• 特に効率的なトレーニングと推論の文脈において、最先端のモデルと比較して著しく少ないパラメータ数で競争力のある性能を達成すること。

提案手法

• モデルは、残差ブロックを含む1次元ディープ・ワイズ分離畳み込み、バッチ正規化、ReLU、ドロップアウト層から構成されるQuartzNetを模したエンコーダーを使用する。
• 各チャネルについて時間軸にわたる平均および標準偏差を計算することで、可変長発話を固定長の埋め込み（qベクトル）に変換するx-vectorスタイルの統計プーリングを適用する。
• 分類ヘッドへのマッピングには、交差エントロピー損失または追加マージン角損失（AAM）を用いた全結合層からなるデコーダーを採用する。
• 学習率スケジュールにコサインアニーリングを用い、SGD最適化法を用いてVoxCeleb1およびVoxCeleb2 devデータセット上でエンド・ツー・エンドにトレーニングする。
• 特にクリーンなテストセットでの耐性を高めるために、MUSANノイズおよびRIR畳み込みによるデータオーグメンテーションを適用する。
• トレーニング時間を短縮するために、発話の切り出しまたはランダムなチャンク化により、入力発話を8秒に制限する。

実験結果

リサーチクエスチョン

• RQ1 VADを用いない軽量な1次元ディープ・ワイズ分離畳み込みネットワークは、テキストに依存しない話者検証で最先端の性能を達成できるか？
• RQ2 発話長を8秒に短縮した場合、全長の入力と比較して等誤差率（EER）にどのような影響があるか？
• RQ3 追加マージン角損失（AAM）の最適なマージンとスケールハイパーパrameterの組み合わせは何か？その組み合わせが検証精度を向上させるか？
• RQ4 MUSANおよびRIRを用いたデータオーグメンテーションは、VoxCeleb1テストセットにおけるモデルの耐性およびEERにどのような影響を与えるか？
• RQ5 たった500万パラメータのモデルが、話者検証タスクにおいてより大きな最先端のシステムを上回ることができるか？

主な発見

• VADを一切使用しないSpeakerNet-M（500万パラメータ）は、VoxCeleb1クリーンドセットで2.10%、VoxCeleb1トライアルセットで2.29%の等誤差率（EER）を達成し、最先端の性能に近い結果を得た。
• マージンm=0.2、スケールs=30を用いた追加マージン角損失（AAM）でトレーニングしたモデルは、VoxCeleb1クリーンドセットで2.10%のEERを達成し、標準的な交差エントロピー損失によるトレーニングを上回った。
• MUSANノイズによるデータオーグメンテーションはEERを顕著に改善したが、RIRオーグメンテーションはVoxCeleb1のようなニアフィールド録音では限定的な効果にとどまった。
• 発話長を8秒に短縮することでトレーニング時間が約50%短縮されたが、性能低下は最小限に抑えられ、全長入力と比較してEERはわずかに上昇したにとどまった。
• 800万パラメータのSpeakerNet-Lは、VoxCeleb1クリーンドセットで2.10%、トライアルセットで2.32%のEERを達成し、Kaldiベースライン（3.10% EER）を上回り、最先端のBUTシステム（クリーンドセットで1.22% EER）に近い性能を示した。
• モデルのアーキテクチャは、エンド・ツー・エンドのASRシステムとシームレスに統合可能である。両者とも同じQuartzNetベースのエンコーダーを用いるため、共同トレーニングおよびデプロイメントが可能である。