[論文レビュー] A Comparison of Metric Learning Loss Functions for End-To-End Speaker Verification

Juan Manuel Coria, Hervé Bredin+2 more|arXiv (Cornell University)|Mar 31, 2020

Speech Recognition and Synthesis参考文献 27被引用数 8

ひとこと要約

本論文は、VoxCelebデータセットを用いたエンドツーエンドスプーカーバリデーションにおいて、6種類のメトリクス学習損失関数を体系的に比較し、性能、学習時間、耐障害性を評価している。結果として、追加的な角マージン損失が、精度、耐障害性、効率性の面で他のすべての損失関数を上回り、SincNetとx-vectorアーキテクチャと組み合わせることで、最小限のバックエンド処理で真のエンドツーエンドシステムを実現可能であることが判明した。

ABSTRACT

Despite the growing popularity of metric learning approaches, very little work has attempted to perform a fair comparison of these techniques for speaker verification. We try to fill this gap and compare several metric learning loss functions in a systematic manner on the VoxCeleb dataset. The first family of loss functions is derived from the cross entropy loss (usually used for supervised classification) and includes the congenerous cosine loss, the additive angular margin loss, and the center loss. The second family of loss functions focuses on the similarity between training samples and includes the contrastive loss and the triplet loss. We show that the additive angular margin loss function outperforms all other loss functions in the study, while learning more robust representations. Based on a combination of SincNet trainable features and the x-vector architecture, the network used in this paper brings us a step closer to a really-end-to-end speaker verification system, when combined with the additive angular margin loss, while still being competitive with the x-vector baseline. In the spirit of reproducible research, we also release open source Python code for reproducing our results, and share pretrained PyTorch models on torch.hub that can be used either directly or after fine-tuning.

研究の動機と目的

• スプーカーバリデーションにおけるメトリクス学習損失関数の間で、公平で体系的な比較が不足しているという問題に取り組むこと。
• 統一されたエンドツーエンドフレームワーク内で、複数の損失関数の性能、学習効率、耐障害性を評価すること。
• 最小限のバックエンド複雑性で真のエンドツーエンドスプーカーバリデーションシステムを構築するための最適な損失関数を同定すること。
• オープンソースのコードと事前学習済みのPyTorchモデルの公開を通じて、再現性を促進すること。

提案手法

• 本研究では、生の音声特徴の学習にSincNet、埋め込み抽出にx-vectorを組み合わせた統一されたエンドツーエンドアーキテクチャを用いる。
• 6つの損失関数を評価：交差エントロピー、共通余弦損失、追加的角マージン損失、センター損失、対比損失、トライアングル損失。
• データオーグメンテーションには、MUSANデータセットからのランダムなバックグラウンドノイズを用い、SNRは10–20 dBの範囲とする。
• 分類ベースの損失関数では、128人の異なるスプーカーからなるバッチサイズ128を用いる。対比ベースの損失関数では、20または40人のスプーカーを含むバッチを用い、スプーカー1人あたり2–3発話ずつを含む。
• 学習率、マージン、重み係数などのハイパーパrameterはグリッドサーチにより調整され、表1に報告されている。
• 性能評価は、スコア正規化の有無を考慮したVoxCeleb 1テストセットにおける等誤差率（EER）を用いて行う。

実験結果

リサーチクエスチョン

• RQ1 VoxCeleb 1データセットにおいて、どのメトリクス学習損失関数が最も高いスプーカーバリデーション精度を達成するか？
• RQ2 異なる損失関数は、学習時間および収束速度においてどのように比較されるか？
• RQ3 マージンベースの損失関数は、標準的な分類損失関数と比較して、ドメインシフトに対してどの程度耐障害性が向上するか？
• RQ4 単一のメトリクス損失関数を用いた完全なエンドツーエンドシステムは、従来のx-vectorシステムの複雑なバックエンドパイプラインを置き換えることができるか？

主な発見

• 追加的角マージン損失は、VoxCeleb 1で最小のEERを達成し、他のすべての損失関数を顕著に上回った。
• 適応的s-normスコア正規化を適用した場合、追加的角マージン損失は、手作業特徴を用いた標準的なx-vectorベースラインと同等の性能を示した。
• 追加的角マージン損失は、最も高い耐障害性を示し、スコア正規化による改善が統計的に有意でないため、本質的な一般化能力に優れていることが示唆された。
• 対比損失（対比およびトライアングル）と追加的角マージン損失は、スコア正規化による性能向上が統計的に有意でない唯一の損失関数であり、より優れたドメイン一般化能力を示していると考えられる。
• 共通余弦損失および対比ベースの損失関数（対比およびトライアングル）は収束が遅く、200時間以上の学習後も改善が継続していた。
• 追加的角マージン損失は、精度、耐障害性、学習効率のすべての基準において優れた性能を達成する唯一の損失関数であった。