[論文レビュー] Meta-Learning for Short Utterance Speaker Recognition with Imbalance Length Pairs

Seong Min Kye, Youngmoon Jung+3 more|arXiv (Cornell University)|Apr 6, 2020

Speech Recognition and Synthesis参考文献 31被引用数 14

ひとこと要約

本論文は、不均衡な長さのサポート・クエリペア（長時間の登録音声、短時間のテスト音声）を用いた短時間発話の話者認識のためのメタラーニングフレームワークを提案する。エピソード分類とグローバル分類を組み合わせることで、頑健で判別力のある埋め込みを学習する。本手法は、より単純なアーキテクチャと40次元の特徴量を用いながらも、VoxCelebにおける1〜2秒の話者確認および未学習話者同定で最先端の性能を達成している。

ABSTRACT

In practical settings, a speaker recognition system needs to identify a speaker given a short utterance, while the enrollment utterance may be relatively long. However, existing speaker recognition models perform poorly with such short utterances. To solve this problem, we introduce a meta-learning framework for imbalance length pairs. Specifically, we use a Prototypical Networks and train it with a support set of long utterances and a query set of short utterances of varying lengths. Further, since optimizing only for the classes in the given episode may be insufficient for learning discriminative embeddings for unseen classes, we additionally enforce the model to classify both the support and the query set against the entire set of classes in the training set. By combining these two learning schemes, our model outperforms existing state-of-the-art speaker verification models learned with a standard supervised learning framework on short utterance (1-2 seconds) on the VoxCeleb datasets. We also validate our proposed model for unseen speaker identification, on which it also achieves significant performance gains over the existing approaches. The codes are available at https://github.com/seongmin-kye/meta-SR.

研究の動機と目的

• テスト発話が短い（1〜2秒）場合に生じる性能の低さという課題に取り組むこと。特に、実世界の状況における短い発話を想定する。
• 変動する長さの短いクエリを用いて実践的な訓練条件を模擬することで、未学習話者への一般化性能を向上させること。
• すべての訓練クラスに対してエピソード的メタラーニングとグローバル分類を組み合わせることで、埋め込みの判別力を高めること。
• 複雑なアーキテクチャや高次元の特徴量を用いずに、短時間発話の話者確認および未学習話者同定で最先端の性能を達成すること。

提案手法

• 各エピソードが長時間の発話（5秒）からなるサポートセットと、短く変動する長さの発話（1〜2秒）からなるクエリセットからなる、プロトタイプネットワークに基づくメタラーニングフレームワークを採用する。
• 特徴量の集約に時間平均プーリング（TAP）を適用し、埋め込み学習にマージンなしのメトリック損失を用いる。
• 二重の訓練目的を実装する：サポート・クエリペアにおけるエピソード分類損失と、すべてのサンプルに対して全訓練クラスとのグローバル分類損失。
• ベースネットワークとしてResNet34を用い、計算コストを抑えるために40次元のログメルフィルタバンク特徴量を採用する。
• 短い発話をその対応する長時間の登録サンプルに一致させるようにモデルを訓練するとともに、すべての話者クラスに対して埋め込みが判別可能であることを保証する。
• 未学習話者を訓練中にターゲットにすることで、訓練と推論の整合性を保ち、ゼロショット一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 不均衡な長さのサポート・クエリペアを用いたメタラーニングは、標準的な教師あり学習と比較して、短時間発話の話者確認性能を向上させるか？
• RQ2 すべての訓練クラスに対するエピソード的メタラーニングとグローバル分類を組み合わせることで、埋め込みの判別力と発話時間の変動に対する頑健性が向上するか？
• RQ3 本手法は、登録データが限られた状況での未学習話者同定タスクにどの程度一般化できるか？
• RQ4 メタトレーニング中にクエリ発話の長さとばらつきが、モデルの性能にどの程度影響を与えるか？
• RQ5 高次元特徴量や複雑なモジュールを用いない単純なモデルアーキテクチャが、短時間発話設定において、より複雑な最先端モデルを上回る性能を発揮できるか？

主な発見

• 提案手法は、VoxCeleb1データセットにおける1〜2秒の話者確認で最先端の性能を達成し、複雑な集約手法やマージンベースの損失を用いた先行研究を上回っている。
• 未学習話者同定タスクでは、5クラスタスクにおいて1秒クエリで96.40%、2秒クエリで98.38%の精度を達成し、ヴァニラトレーニングを著しく上回っている。
• 変動する短いクエリを含む不均衡な長さペアを用いたモデルは、等長ペアや固定長ペアの設定を上回り、発話時間の変動に対する頑健性が向上していることが示された。
• 40次元の特徴量を用い、高度な集約手法やマージンベースの最適化を導入しないにもかかわらず、より高次元の入力や複雑なモジュールを用いたベースラインを上回っている。
• 候補話者の数が増えるほど、本手法とヴァニラトレーニングとの性能差が拡大しており、オープンセット状況における強力な一般化性能が示された。
• グローバル分類損失は、クラス間クラスタリングを著しく改善し、発話時間に起因するばらつきを低減することで、より判別力のある埋め込みを生成した。