[論文レビュー] The VOiCES from a Distance Challenge 2019 Evaluation Plan

Mahesh Kumar Nandwana, Julien van Hout+4 more|arXiv (Cornell University)|Feb 27, 2019

Speech Recognition and Synthesis参考文献 8被引用数 34

ひとこと要約

VOiCES from a Distance Challenge 2019 評価計画は、遠距離/ノイズのある音声に対する話者認識とASRのタスクを確立し、固定/オープンの学習条件、開発セットおよび評価セット、特定の一次指標および llr ベース指標、Interspeech 2019 Special Session への提出ルールを規定する。

ABSTRACT

The "VOiCES from a Distance Challenge 2019" is designed to foster research in the area of speaker recognition and automatic speech recognition (ASR) with the special focus on single channel distant/far-field audio, under noisy conditions. The main objectives of this challenge are to: (i) benchmark state-of-the-art technology in the area of speaker recognition and automatic speech recognition (ASR), (ii) support the development of new ideas and technologies in speaker recognition and ASR, (iii) support new research groups entering the field of distant/far-field speech processing, and (iv) provide a new, publicly available dataset to the community that exhibits realistic distance characteristics.

研究の動機と目的

• 騒音環境下での遠距離/ファーフィールドの話者認識とASRの進展を促進する。
• 実世界的なリバーブと背景雑音を含む VOiCES コーパスを用いて最先端技術をベンチマークする。
• 固定/オープン学習条件の下で公正にシステムを比較するための公開データセットとフレームワークを提供する。
• 新しい研究者やグループの参加を促し、論文掲載のための記述や分析を提供するよう奨励する。
• 評価データのリリース（フェーズ2）を提供し、Interspeech 2019 で Special Session を開催する。

提案手法

• 話者認識と自動音声認識（ASR）の二つのタスクを定義する。
• 各タスクについて、学習条件を固定（公開データの制限あり）とオープン（任意データ）で指定する。
• リバーブおよびノイズを伴う VOiCES コーパスからの開発データと評価データを提供する。
• 話者認識評価には一次検出コスト指標 C_det と、代替の C_llr を使用する。
• 話者認識には試行ごとの LLR、ASRには WER を用いて提出物をスコア付けし、標準化されたスコアリングスクリプトを使用する。
• 話者認識提出には LLR ベースのスコアファイル、ASR 脚本は CTM 形式の Transcript を要求する。

実験結果

リサーチクエスチョン

• RQ1 実際のリバーブと背景雑音を伴う遠距離/ファーフィールド音声に対して、最先端システムはどれくらいの性能を示すか？
• RQ2 学習データの制限（固定 vs オープン）が話者認識と ASR の性能に与える影響は？
• RQ3 話者認識のためのキャリブレーション指標（C_llr）は、動作点間でどのように比較されるか？
• RQ4 マイク、部屋、妨害音の変動に対するシステムの頑健性について、VOiCES データセットは何を明らかにできるか？

主な発見

• 本計画は、固定およびオープンの学習条件で二つのタスク（話者認識と ASR）を導入し、システムをベンチマークする。
• 話者認識の一次指標として NIST SRE に似た指標（C_det）と、キャリブレーション分析のための llr ベースの代替指標（C_llr）を採用する。
• ASR の性能は SCTK スコアリングを用いた Word-Error Rate (WER) で評価され、NIST OPENSAT-17 評価を模倣している。
• Phase 2 データは VOiCES を拡張し、多様なリバーブ環境にわたる 310k 以上の音声ファイルを含む。
• 参加者は、条件ごとに標準化された命名と CTM/LLR 形式の出力を提出し、会議掲載用のシステム説明を提供する必要がある。