[論文レビュー] Google Speech Commands-Musan test set

Trinh, Viet Anh, Kavaki, Hassan Salami+1 more|arXiv (Cornell University)|Apr 9, 2018

Speech Recognition and Synthesis参考文献 6被引用数 1,072

ひとこと要約

この論文は、限られた語彙の端末上キーワードスポットを対象とした Speech Commands データセットを提示し、その収集、品質管理、および Top-One と streaming 指標を含む再現可能な評価プロトコルとベースライン結果を詳述する。

ABSTRACT

Describes an audio dataset of spoken words designed to help train and evaluate keyword spotting systems. Discusses why this task is an interesting challenge, and why it requires a specialized dataset that is different from conventional datasets used for automatic speech recognition of full sentences. Suggests a methodology for reproducible and comparable accuracy metrics for this task. Describes how the data was collected and verified, what it contains, previous versions and properties. Concludes by reporting baseline results of models trained on this dataset.

研究の動機と目的

• 小型のキーワードスポットモデルを訓練・評価するための標準的で公開ライセンスのデータセットを提供する。
• 使用可能で話者に依存しないデータを保証するためのデータ収集、ラベリング、および品質管理手順を説明する。
• モデル間の公平な比較を可能にする再現性のある評価指標と訓練/テスト分割を提案する。
• ベースライン結果を提供し、ベンチマークと再現性を促進するコード/ツールを公開する。

提案手法

• ウェブベースの録音でユーザーの同意を得て、20コア語の英語の1秒間の発話（バージョン2では追加語を含む）を収集する。
• ファイルサイズフィルタリング、16 kHz WAV への変換、最も大きなセクションの抽出を含む多段階品質管理を実施する。
• クラウドソーシングによる手動審査を適用しラベルを確認する。
• 背景ノイズ録音を提供し、訓練/検証/テストセットのハッシュを用いた決定論的データ分割法を提供する。
• プライバシー保護とリリース間の再現性を確保するため、話者識別ハッシュを用いたデータをリリースする。

実験結果

リサーチクエスチョン

• RQ1 低偽陽性で端末上のキーワードスポットを最適にサポートする語彙とデータ収集アプローチは何か？
• RQ2 公正なモデル比較のために再現性のあるデータ収集と評価プロトコルをどう確立するか？
• RQ3 標準化された指標の下で、単純なモデルは Speech Commands データセットでどのベースライン性能を達成するか？
• RQ4 データセットのリリース間で情報漏洩を防ぐよう、訓練・検証・テストの分割をどう構築すべきか？
• RQ5 Version 1 と Version 2 のデータセットはどう比較できるか？（Top-One 精度とストリーミング指標）

主な発見

Data	V1 Training	V2 Training	V1 Test	V2 Test
V1 Training	85.4%	89.7%	N/A	N/A
V2 Training	82.7%	88.2%	N/A	N/A

• 最終データセットには 2,618人の話者から 35 語にまたがる 105,829 発話が含まれ、16 kHz 16-bit モノラル WAV ファイルとして格納されている（非圧縮約 3.8 GB）。
• バージョン2は、それぞれのデータで訓練・評価すると、バージョン1よりTop-One精度が向上する：V1 Training with V1 Test 85.4% vs V2 Training with V2 Test 88.2%；クロスバージョンの結果はそれぞれ 89.7% および 82.7% を示す。
• 提供された訓練コマンドを使用して、V2データで CNN ベースのキーワードスポットモデルが 88.2% Top-One を達成。
• 標準化されたストリーミング評価は、複数の指標（matched, correctly, wrongly, false positives）を提供し、再現性のために典型的な許容誤差は 750 ms、1 時間のストリーミングテストファイルを用いる。
• データセットは10語のコア語と追加コマンドおよび distractor 語、背景ノイズコーパス、リリース間の情報漏洩を防ぐハッシュベースの分割を含む訓練/検証/テストリストを含む。
• リリースプロセスは話者IDをハッシュ化して匿名化し、リリース間で一貫したIDを保証する。