[論文レビュー] Clova Baseline System for the VoxCeleb Speaker Recognition Challenge 2020

Hee Soo Heo, Bong‐Jin Lee+2 more|arXiv (Cornell University)|Sep 29, 2020

Speech Recognition and Synthesis参考文献 18被引用数 96

ひとこと要約

本論文はVoxSRC 2020向けにClovaのResNetベースのベースラインを提示し、アンサンブルや後処理なしで話者認識を改善するために、複数の損失関数とプーリング機構を検討する。単一モデルでの強力な結果を報告し、トレーニングコードとモデルを公式でないベースラインとして公開している。

ABSTRACT

This report describes our submission to the VoxCeleb Speaker Recognition Challenge (VoxSRC) at Interspeech 2020. We perform a careful analysis of speaker recognition models based on the popular ResNet architecture, and train a number of variants using a range of loss functions. Our results show significant improvements over most existing works without the use of model ensemble or post-processing. We release the training code and pre-trained models as unofficial baselines for this year's challenge.

研究の動機と目的

• VoxSRC 2020の条件下（ドメインシフト、短い話技）でVoxCelebデータに対する有効なResNetベースのアーキテクチャを評価する。
• 損失関数（AM-Softmax、AAM-Softmax、AP、AP+Softmax）とプーリング（SAP、ASP）が性能に与える影響を検討する。
• 制約のない音声での頑健性を向上させる入力表現とデータ拡張戦略を評価する。
• コミュニティ向けにトレーニングコードと事前学習済みモデルを公開し、公式でないベースラインを提供する。

提案手法

• 入力特徴として、64次元のlog-Melフィルタバンクとインスタンス正規化によるMVNを用いた、固定長の2秒セグメントを使用する。
• 2つのResNet-34系を比較する：1.4MパラメータでSAPを用いた速度最適化モデルと、8.0MパラメータでASPを用いた性能最適化モデル。
• 識別的話者埋め込みを学習するため、メトリック学習と分類ベースの損失（AM-Softmax、AAM-Softmax、AP、AP+Softmax）を適用する。
• 注意機構ベースのプーリング（SAP/ASP）を用いてフレームレベル特徴を集約し、発話レベルの表現を得る。
• Vox Celeb2開発セットで訓練し、テストセグメントごとに10クロップのコサイン類似度を用いて評価し、100個のペアワイズ類似度を平均する。
• MUSANノイズ/音楽/その他のノイズや、シミュレートされたルームインパルス応答（RIR）を含むデータ拡張を適用する。
• NSMLプラットフォーム上でPyTorchを用いて複数GPUで分散学習を実施し、モデルアンサンブルなしで結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースのプーリングを備えたResNetベースのバックボーンは、モデルアンサンブルなしで、従来のVoxSRCベースラインに匹敵するか、それを上回ることができるか？
• RQ2 AM-Softmax、AAM-Softmax、AP、AP+Softmaxの損失は、制約のない条件下の話者検証でどのように比較されるか？
• RQ3 VoxCelebデータにおける発話レベルの識別性に対して、SAPとASPの使用はどのような影響を与えるか？
• RQ4 埋め込みに対するバッチ正規化（BN）を埋め込みに適用すると、分類目的の性能は向上するか？

主な発見

• 速度最適化されたQ/SAPモデルと性能最適化されたH/ASPモデルを開発し、複数の損失で比較した。
• メトリック学習と分類ベースの損失の組み合わせは、一般にさまざまなシナリオで最良の性能をもたらす。
• 埋め込みのBNは、分類ベースの目的に対して顕著な効果をもたらす。
• 最良の単一モデル（AP+SoftmaxとH/ASP）は競争力のある結果を達成し、VoxSRC 2020テストセットでの報告された最高性能はEER 5.19%、MinDCF 0.314であった。
• 著者らはモデルアンサンブルや後処理に頼らずに強力な結果を示し、コミュニティ向けにトレーニングコードと事前学習済みベースラインを公開した。