[論文レビュー] SpeechBrain: A General-Purpose Speech Toolkit

Mirco Ravanelli, Titouan Parcollet+19 more|arXiv (Cornell University)|Jun 8, 2021

Speech Recognition and Synthesis参考文献 107被引用数 512

ひとこと要約

SpeechBrainは、研究と再現性を加速させるための、準備済みのモデル、レシピ、チュートリアルを備えた多目的の音声処理タスクをサポートする、オープンソースの、すべて-in-one PyTorchベースのツールキットです。

ABSTRACT

SpeechBrain is an open-source and all-in-one speech toolkit. It is designed to facilitate the research and development of neural speech processing technologies by being simple, flexible, user-friendly, and well-documented. This paper describes the core architecture designed to support several tasks of common interest, allowing users to naturally conceive, compare and share novel speech processing pipelines. SpeechBrain achieves competitive or state-of-the-art performance in a wide range of speech benchmarks. It also provides training recipes, pretrained models, and inference scripts for popular speech datasets, as well as tutorials which allow anyone with basic Python proficiency to familiarize themselves with speech technologies.

研究の動機と目的

• 多様な音声タスク（ASR、話者認識/ダイアライゼーション、エンハンスメント、セパレーション、SLU など）にまたがる研究を加速する、単一で柔軟なツールキットを動機付ける。
• 学習者と実務者のために使いやすさを保ち、十分に文書化され、教育に適した、単純でモジュール式の設計を提供する。
• readily available training recipes and pretrained models.
• さまざまな音声ベンチマークで競争力のあるまたはSotAの性能を実証する。

提案手法

• Brainを、モジュラーなPyTorchコンポーネントと inversion-of-controlトレーニングワークフローを備えた一般的なトレーニングループとして導入する。
• YAMLからハイパーパラメータとオブジェクトを宣言・インスタンス化して、読みやすさと再現性を高めるためにHyperPyYAMLを使用する。
• DynamicItemDatasetとデータマニフェストベースのロードシステムを実装し、可変長の音声とスケーラブルなパイプラインを扱う。
• トレーニング中のオンザ-flyな特徴量生成と微分可能なウェーブフォーム/データ増強をサポートする。
• 複数GPUと混同行列トレーニングを可能にし、WebDatasetベースの大規模実験と効率のためのJITコンパイルをサポートする。
• 多くの音声タスクにわたるすぐに使えるモデル、レシピ、チュートリアルを提供し、迅速な実験と比較を促進する。

実験結果

リサーチクエスチョン

• RQ1 単一のマルチタスクツールキットが、競争力のある性能と容易な拡張性を備えた多様な音声タスクをサポートできるか。
• RQ2 ハイパーパラメータとモデルを、読みやすく再利用可能な方法で組み合わせて、実験を加速できるか。
• RQ3 統一されたフレームワークで可変長の音声データの効率的なトレーニングと評価を可能にするパイプライン設計は何か。
• RQ4 すぐに使えるレシピと事前学習モデルは、研究者がタスク間でSotAの結果を再現するのにどの程度役立つか。

主な発見

• SpeechBrainは、複数のタスクで競争力のあるまたはSotAの性能を実現している（例: TIMIT PER 13.8%、追加データなし；LibriSpeech test-clean WER 2.46%、front-endにトランスフォーマー＋ContextNetを使用；Common Voiceは言語を超えてSotAに近づくケースが多数）。
• SpeechBrainのECAPA-TDNN埋め込みは強力な話者検証性能を生み出し、VoxCelebでEERが0.81%にまで低下し、オープンソースツールでVoxCelebにおける最先端の結果を実現している。
• AMIでのダイアライゼーションでは、話者数が既知の場合SpeechBrainの埋め込みが最近のメタ学習とVBxのベースラインを上回り、未知の場合でも競争力を保つ。
• 音声エンハンスメントでは、SpeechBrainはVoiceBank-DEMANDベンチマークでSotAのPESQとCOVL指標を達成し、Mimic LossとMetricGAN+を用いた特定の設定でDEMUCSなどの専用モデルの結果に匹敵または超えることがある。
• BrainトレーニングループとHyperPyYAMLは、簡単なモデルで約十行程度のコンパクトなトレーニングスクリプトと、実験のためのハイパーパラメータ上書きを実現する。