[論文レビュー] Speaker Recognition Based on Deep Learning: An Overview

Zhongxin Bai, Xiao-Lei Zhang|arXiv (Cornell University)|Dec 2, 2020

Speech Recognition and Synthesis参考文献 186被引用数 10

ひとこと要約

この論文は、スフィーカー認証、識別、ダイアライゼーション、耐障害性認識に焦点を当てた、深層学習ベースのスフィーカー認識に関する包括的な概要を提供する。入力表現、ニューラルネットワークアーキテクチャ、時系列プーリング、損失関数といった主要な構成要素を詳細に説明するとともに、エンドツーエンドダイアライゼーション、ドメイン適応、ノイズ耐性に関する最新の進展を調査し、分野の研究者にとって基盤的リソースを提供する。

ABSTRACT

Speaker recognition is a task of identifying persons from their voices. Recently, deep learning has dramatically revolutionized speaker recognition. However, there is lack of comprehensive reviews on the exciting progress. In this paper, we review several major subtasks of speaker recognition, including speaker verification, identification, diarization, and robust speaker recognition, with a focus on deep-learning-based methods. Because the major advantage of deep learning over conventional methods is its representation ability, which is able to produce highly abstract embedding features from utterances, we first pay close attention to deep-learning-based speaker feature extraction, including the inputs, network structures, temporal pooling strategies, and objective functions respectively, which are the fundamental components of many speaker recognition subtasks. Then, we make an overview of speaker diarization, with an emphasis of recent supervised, end-to-end, and online diarization. Finally, we survey robust speaker recognition from the perspectives of domain adaptation and speech enhancement, which are two major approaches of dealing with domain mismatch and noise problems. Popular and recently released corpora are listed at the end of the paper.

研究の動機と目的

• 従来のアプローチを超えた最近の進展に焦点を当て、深層学習ベースのスフィーカー認識手法について体系的かつ最新の概要を提供すること。
• 認証および識別タスクの両方において、スフィーカー埋め込み学習のコアな構成要素（入力、ネットワーク構造、時系列プーリング、損失関数）を分析すること。
• 教師あり、エンドツーエンド、オンライン学習パラダイムを含む、スフィーカー・ダイアライゼーション分野における最近の進展を調査すること。
• ドメイン適応と音声強調処理を通じた耐障害性スフィーカー認識技術を検討し、ノイズやドメイン不一致といった課題に対処すること。
• 研究の参考となるために、一般的に使用され、最近リリースされたスフィーカー認識データセットを収集・要約すること。

提案手法

• スフィーカー埋め込み抽出に用いられるハイブリッド深層学習アーキテクチャ（例：DNN-UBM/i-vector、DNN-BNF/i-vector）をレビューする。
• 異なる入力特徴（例：生波形、スペクトログラム、MFCC）の役割とモデル性能への影響を分析する。
• スフィーカー埋め込み学習に用いられるさまざまな深層ニューラルネットワークアーキテクチャ（例：DNN、CNN、RNN、Transformers）を検討する。
• シーケンスレベルの表現のための時系列プーリング戦略（例：平均プーリング、統計プーリング、アテンションベースの集約）を比較する。
• エンドツーエンドスフィーカー認証に用いられる損失関数（例：トリプレット損失、コントラスト損失、マージンベース損失）を調査し、トレーニングサンプルの構築に重点を置く。
• スフィーカーの発話とアイデンティティを同時に予測するエンドツーエンドダイアライゼーションシステムをレビューする。オンラインおよびマルチモーダル手法を含む。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのスフィーカー埋め込み手法は、従来のGMM-UBMおよびi-vectorシステムに比べて、どのように性能を向上させるか？
• RQ2 効果的なスフィーカー表現学習を可能にする主なアーキテクチャ的およびトレーニング的構成要素（入力、ネットワーク、プーリング、損失関数）は何か？
• RQ3 エンドツーエンドおよびオンラインダイアライゼーションシステムは、従来の2段階アプローチに比べて、どのように進歩したか？
• RQ4 ドメイン適応および音声強調処理技術は、ノイズが多いまたはドメインが不一致な条件下で、どれほど耐障害性を向上させるか？
• RQ5 現代のスフィーカー認識システムのトレーニングおよび評価に最も関連性があり、広く使われているデータセットは何か？

主な発見

• 深層学習は、困難な現実世界の環境ですらも、スフィーカー認識性能を顕著に向上させ、最先端の結果を達成している。
• コントラスト損失またはトリプレット損失関数を用いたエンドツーエンドスフィーカー埋め込みモデルは、認証および識別タスクの両方で、従来の2段階システムを上回っている。
• 教師ありエンドツーエンドダイアライゼーションシステムは、従来のパイプライン手法に比べて性能が向上しており、特に重複発話や変動する発話者数の処理において顕著である。
• 敵対的訓練に基づくドメイン適応技術は有望であるが、性能向上の面で、従来のPLDAベースの適応をまだ凌駕していない。
• 特に深層学習と統合された音声強調処理手法は、ノイズ環境下での認識精度を向上させ、ノイズの影響を効果的に軽減している。
• 最近リリースされたデータセット（例：DIHARD、AMI、FFSVC20、LibriCSS）のおかげで、スフィーカー認識システムの耐障害性および現実世界への適用可能性の評価に顕著な進展が見られた。