[論文レビュー] MCE 2018: The 1st Multi-target Speaker Detection and Identification Challenge Evaluation (MCE) Plan, Dataset and Baseline System

Suwon Shon, Najim Dehak+2 more|arXiv (Cornell University)|Jul 17, 2018

Speech Recognition and Synthesis参考文献 1被引用数 3

ひとこと要約

この論文は、実際の電話会話から抽出されたiベクトルを用いた、複数のターゲット発話者を対象とした検出および同定のベンチマークとしてのMCE 2018チャレンジを紹介する。Top-S（コhort検出）とTop-1（発話者同定）の2段階評価を提案し、iベクトル抽出、GMM-UBMモデリング、および複数ターゲットスコア正規化（M-Norm）を用いたベースラインシステムにより、3,631人のターゲット発話者に対するブラックリスト発話者検出および同定タスクの性能向上を図った。

ABSTRACT

The Multitarget Challenge aims to assess how well current speech technology is able to determine whether or not a recorded utterance was spoken by one of a large number of 'blacklisted' speakers. It is a form of multi-target speaker detection based on real-world telephone conversations. Data recordings are generated from call center customer-agent conversations. Each conversation is represented by a single i-vector. Given a pool of training and development data from non-Blacklist and Blacklist speakers, the task is to measure how accurately one can detect 1) whether a test recording is spoken by a Blacklist speaker, and 2) which specific Blacklist speaker was talking.

研究の動機と目的

• 実際の電話会話データを用いた複数ターゲット発話者検出および同定における最先端技術の評価を目的とする。
• 音声セグメントが3,631人のブラックリスト発話者の中のいずれかから来ているかどうかを検出し、該当する場合はその具体的な発話者を同定するベンチマークを確立すること。
• 固定およびオープンなトレーニング条件を設定することで、システム性能を公平に比較可能な標準化された評価フレームワークを提供すること。
• ターゲット発話者集合が大きくかつ事前に未知であるような現実的な条件下での発話者検証分野の研究を促進すること。
• トレーニング、開発、評価用に利用可能な、合計8,631人分（ブラックリスト3,631人、バックグラウンド5,000人）のiベクトルデータセットを公開すること。

提案手法

• 600次元のiベクトルは、8kHz、20msフレーム音声から、4,096成分のGMM-UBMをユニバーサルバックグラウンドモデルとして抽出した。
• トレーニングセットには、ブラックリスト発話者3,631人（各3発話ずつ）とバックグラウンド発話者5,000人（各4発話以上）が含まれ、開発セットにはブラックリストおよびバックグラウンド発話者1人ずつ1発話ずつが含まれる。
• テストセットには発話者ラベルが存在せず、実際の運用環境を模倣している。
• ベースラインシステムでは、複数ターゲットスコア正規化（M-Norm）を用い、ブラックリスト発話者間でのスコアを標準化する。定義は $ y_i' = \frac{score(C_i,x) - \mu_M(i)}{\sigma_M(i)} $ であり、ここで $ \mu_M(i) $ および $ \sigma_M(i) $ は発話者 $ C_i $ のスコアの平均および標準偏差を表す。
• 性能評価には、Top-S（コhort検出）およびTop-1（同定）検出器の両方で等誤り率（EER）を用い、それぞれに固有の誤り定義を適用する。
• 参加者は1チームあたり最大6つの結果ファイルを提出可能で、必須のシステム説明書（PDF形式）を添付する。標準化された提出フォーマットを用い、発話者ID、スコア、最も近いブラックリスト発話者IDを含む。

実験結果

リサーチクエスチョン

• RQ1 実際の電話会話において、テスト発話が3,631人のブラックリスト発話者のいずれかから来ているかどうかを、システムはどの程度正しく検出できるか？
• RQ2 発話がコhortに属する場合、システムはそのブラックリスト発話者をどの程度正確に同定できるか？
• RQ3 複数ターゲットスコア正規化（M-Norm）は、元のスコアと比較して、検出および同定性能をどの程度向上させるか？
• RQ4 提供されたデータのみを使用する（固定条件）場合と、外部データを活用する（オープン条件）場合とで、性能向上の程度はどのようになるか？
• RQ5 異なるシステム構成およびデータ利用戦略は、複数ターゲット発話者検出および同定におけるEERにどのような影響を与えるか？

主な発見

• MCE 2018チャレンジは、実際のコールセンターのデータから抽出されたiベクトルを用いた、現実的で包括的なベンチマークを提供しており、トレーニング、開発、テストセットに合計3,631人のブラックリスト発話者と5,000人のバックグラウンド発話者が含まれる。
• Top-S検出器はコhort検出に基づくEER性能を達成しており、システムが入力がブラックリスト発話者の中のいずれかから来ているかどうかを判断する。
• Top-1検出器は、正しく検出されると同時に正しく同定された場合のEER性能を達成しており、誤認識誤りが明示的にモデル化されている。
• ベースラインシステムでは、M-Normを用いてブラックリスト発話者間でのスコアを正規化し、検出および同定タスクの両方の性能と耐障害性を向上させた。
• 評価フレームワークは、提供されたデータのみを使用する（固定条件）と、外部データを許可する（オープン条件）の両方をサポートしており、システムの耐障害性を比較分析可能にしている。
• チャレンジには、システム説明書と1チームあたり最大6つの結果ファイルを提出する提出プロトコルが含まれており、結果はラベルのない隠しテストセットで評価される。