[論文レビュー] TitaNet: Neural Model for speaker representation with 1D Depth-wise separable convolutions and global context

Nithin Rao Koluguri, Taejin Park+1 more|arXiv (Cornell University)|Oct 8, 2021

Speech Recognition and Synthesis被引用数 4

ひとこと要約

TitaNet は、1次元の深度分離畳み込みと squeeze-and-excitation (SE) モジュール、チャネル注目力プーリングを用いた、可変長発話から固定長の t-ベクトルを抽出する軽量でスケーラブルなニューラルネットワークである。VoxCeleb1 では EER 0.68%、CH109 では DER 1.11% という最先端の性能を達成しており、小型の TitaNet-S バリエーション（600万パラメータ）は最小限の計算コストで準最先端の結果を達成する。

ABSTRACT

In this paper, we propose TitaNet, a novel neural network architecture for extracting speaker representations. We employ 1D depth-wise separable convolutions with Squeeze-and-Excitation (SE) layers with global context followed by channel attention based statistics pooling layer to map variable-length utterances to a fixed-length embedding (t-vector). TitaNet is a scalable architecture and achieves state-of-the-art performance on speaker verification task with an equal error rate (EER) of 0.68% on the VoxCeleb1 trial file and also on speaker diarization tasks with diarization error rate (DER) of 1.73% on AMI-MixHeadset, 1.99% on AMI-Lapel and 1.11% on CH109. Furthermore, we investigate various sizes of TitaNet and present a light TitaNet-S model with only 6M parameters that achieve near state-of-the-art results in diarization tasks.

研究の動機と目的

• 発話確認およびダイアライゼーションの両タスクにおいて、既存のモデルを上回る性能を発揮する、スケーラブルで効率的な発話表現学習のためのニューラルネットワークの開発。
• 発話埋め込みアーキテクチャに squeeze-and-excitation (SE) モジュールとグローバル平均プーリングを統合し、グローバルコンテキストを活用することで、表現品質の向上を図ること。
• 深度分離畳み込みと幅スケーリングを用いることで、モデルサイズを削減しつつ性能を維持し、リソースが制限された環境でのデプロイを可能にすること。
• 発話確認およびダイアライゼーションパイプラインにおいて、PLDA や AHC などの外部モデルの必要性を排除するため、アングルマージンソフトマックス損失とコサイン類似度をバックエンドとして用いたエンドツーエンド学習を実施すること。

提案手法

• モデルはパラメータ数を削減しつつも局所的特徴抽出能力を維持するため、1次元の深度分離畳み込みを採用している。
• 各残差ブロックの後には squeeze-and-excitation (SE) モジュールが適用され、グローバル平均プーリングを用いてグローバルコンテキストベクトルを計算し、チャネルごとの特徴応答を再キャリブレーションする。
• チャネル注目力に基づく統計プーリング層は、学習された注目重みを用いて時系列にわたる特徴をチャネルごとに集約し、発話レベルの埋め込みを計算する。
• アーキテクチャは ContextNet をベースとし、プロローグブロック、複数のメガブロック（深度分離およびポイントワイド畳み込みを繰り返し含む）、エピローグブロックを備え、すべてに残差接続が採用されている。
• モデルの深さと幅は、再帰的サブブロック数（R）とフィルターチャネル数（C）によって制御され、容易なスケーリングが可能である。
• エンドツーエンド学習はアングルマージンソフトマックス損失を用い、推論ではコサイン類似度を用いて発話同士を比較する。

Fig. 1 : TitaNet Encoder and Decoder Architecture

実験結果

リサーチクエスチョン

• RQ1 グローバルコンテキストモデリングを組み込んだ1次元の深度分離畳み込みは、標準の TDNN やフル畳み込み層と比較して、発話埋め込みの品質を向上させるか？
• RQ2 グローバル平均プーリングと統合された squeeze-and-excitation モジュールは、長距離依存関係を捉えることで発話表現を向上させるか？
• RQ3 わずか 600万パラメータの軽量な TitaNet-S モデルは、発話ダイアライゼーションタスクで準最先端の性能を達成できるか？
• RQ4 アングルマージンソフトマックス損失を用いたエンドツーエンド学習によって、発話確認およびダイアライゼーションパイプラインで PLDA や AHC などの外部モデルの必要性がどの程度排除できるか？
• RQ5 発話表現学習において、幅スケーリングと深さスケーリングの両方が、性能とパラメータ効率にどのように影響を与えるか？

主な発見

• TitaNet-L は、VoxCeleb1 のクリーニングトライアルファイルで、最先端の等誤差率（EER）0.68% を達成し、以前のモデルを上回った。
• TitaNet-M は ECAPA-TDNN の半分のサイズでありながら、AMI-MixHeadset で DER 1.73%、AMI-Lapel で 1.99%、CH109 で 1.11% を達成した。
• 小型の TitaNet-S モデル（600万パラメータ）は、NIST-SRE-2000 で DER 1.42%、AMI-MixHeadset で 1.97% を達成し、高い効率-精度トレードオフを示した。
• モデルを縮小させても性能の低下が最小限に抑えられており、TitaNet-S と TitaNet-M はそれぞれ 2 倍および 4 倍のパラメータ削減にもかかわらず、DER にわずかな差異しか示さなかった。
• TitaNet は、x-vector や ECAPA-TDNN のベースラインを、NME-SC クラスタリングを用いた未知発話者数設定を含むすべてのダイアライゼーションデータセットで上回った。
• アングルマージンソフトマックス損失を用いたエンドツーエンド学習とコサイン類似度をバックエンドに用いることで、PLDA や AHC の外部モデルの必要性が排除され、パイプラインが簡素化された。

Fig. 2 : DET curve for VoxCeleb1 cleaned trial comparing with previous studies