[論文レビュー] The NPU System for the 2020 Personalized Voice Trigger Challenge

Jingyong Hou, Li Zhang+5 more|arXiv (Cornell University)|Feb 26, 2021

Speech Recognition and Synthesis参考文献 16被引用数 6

ひとこと要約

本論文は、2020年Personalized Voice Trigger ChallengeのNPUシステムを提示する。MDTC（多スケール拡張時系列畳み込み）ベースのキーワード検出（KWS）モデルと、ArcFaceおよび教師付き対照的損失を用いた発話者認証（SV）システムを統合し、密着マイク条件下で検出コスト0.081、遠方マイク条件下で0.091を達成。両タスクで2位を獲得。高精度かつ低遅延で起動語を検出し、発話者本人の識別を的確に実現した。

ABSTRACT

This paper describes the system developed by the NPU team for the 2020 personalized voice trigger challenge. Our submitted system consists of two independently trained subsystems: a small footprint keyword spotting (KWS) system and a speaker verification (SV) system. For the KWS system, a multi-scale dilated temporal convolutional (MDTC) network is proposed to detect wake-up word (WuW). For SV system, Write something here. The KWS predicts posterior probabilities of whether an audio utterance contains WuW and estimates the location of WuW at the same time. When the posterior probability ofWuW reaches a predefined threshold, the identity information of triggered segment is determined by the SV system. On evaluation dataset, our submitted system obtains detection costs of 0.081and 0.091 in close talking and far-field tasks, respectively.

研究の動機と目的

• 不正な起動を防ぐために、起動語を検出し、発話者本人の身元を確認するパーソナライズドボイストリガー系の開発。
• 遠方マイク環境やマルチスケーラー環境など、困難な条件下でのキーワード検出（KWS）性能の向上。
• ArcFaceや教師付き対照的損失といった高度な損失関数を用いて、発話者認証（SV）の精度を向上。
• 計算リソースが限られたエッジデバイスにリアルタイムで展開可能な効率的システムの最適化。
• トレーニング、開発、評価データセット間のドメインシフトを効果的なデータ拡張戦略により是正すること。

提案手法

• KWS用に、拡張率が増加する（1, 2, 4, 8）深さ方向1次元畳み込みを用いた多スケール拡張時系列畳み込み（MDTC）ネットワークを提案。長距離の時系列的文脈を捉える。
• MDTCブロックには、残差接続、バッチ正則化、ReLU活性化関数に加え、特徴表現の強化と学習安定性の向上を目的としたスイープ・アンド・エクスカーション（SE）モジュールを含む。
• KWSシステムでは、フレーム単位分類のためのバイナリクロスエントロピー（BCE）損失を用い、ポジティブサンプルは起動語の中心に40フレームを、ネガティブサンプルはそれ以外のすべてのフレームを定義。
• SVでは、埋め込み品質の向上とクラス内変動の低減を目的に、ArcFace損失と教師付き対照的損失を採用。
• データ拡張として、起動語の前後に非キーワード音声セグメントを挿入し、開発セットのネガティブサンプルを活用することで一般化性能を向上。
• 最終的なシステムは、KWSとSVを2段階パイプラインで統合：KWSがセグメントをトリガーし、登録済み埋め込みを用いてSVが発話者を認証。

実験結果

リサーチクエスチョン

• RQ1 密着マイクおよび遠方マイク条件下で、軽量かつ高精度なKWSシステムをどのように設計できるか？
• RQ2 パーソナライズドボイストリガー環境において、発話者認証性能を向上させるために最も効果的な損失関数は何か？
• RQ3 KWSにおいて、データ拡張戦略は、トレーニング・開発・評価セット間のドメインシフトをどのように緩和できるか？
• RQ4 スコア統合による複数SVモデルの統合は、全体のシステムのロバストネスと精度をどの程度向上させるか？
• RQ5 実世界のエッジハードウェア上でのエンドツーエンドパーソナライズドボイストリガー系の推論効率はどの程度か？

主な発見

• NPUシステムは、密着マイクタスクの評価セットで検出コスト0.081、遠方マイクタスクで0.091を達成し、全体で2位を獲得。
• 提案されたMDTCベースのKWSモデルは、公式PVTC2020ベースラインを大きく上回り、特に検出コストと未学習条件への一般化性能で顕著な向上を示した。
• 開発セットのネガティブサンプルをKWS学習に活用することで、性能が大幅に向上した。これは、評価セットとのドメイン整合性が高まったことを示唆。
• ArcFaceと教師付き対照的損失を用いたSVシステムは、密着マイクでEER 0.821%、遠方マイクで1.423%まで低下させ、ベースラインを上回った。
• KWSでは0.05、SVでは0.07という低リアルタイム要因を達成し、エッジデバイスへの展開に適した高い推論効率を示した。
• 開発セットでの性能が評価セットを上回った。これは、評価データに発話者多様性が高く、試行の複雑さがより高いことが原因とされる。