[論文レビュー] RawNet: Advanced end-to-end deep neural network using raw waveforms for text-independent speaker verification

Jee-weon Jung, Hee-Soo Heo+3 more|arXiv (Cornell University)|Apr 17, 2019

Speech Recognition and Synthesis参考文献 31被引用数 12

ひとこと要約

本稿では、独自の事前学習スキームと追加の目的関数を備えた洗練されたCNN-GRUアーキテクチャを用いて、テキストに依存しない話者識別のために生波形を直接処理するエンド・ツー・エンドの深層ニューラルネットワーク、RawNetを提案する。このシステムは、データ拡張を用いない状態でVoxCeleb1で4.0%の等誤差率（EER）を達成し、従来のx-vectorシステムよりも優れた性能を示しており、データ拡張なしに生波形モデリングが直接的な特徴工学を凌駕できることを示している。

ABSTRACT

Recently, direct modeling of raw waveforms using deep neural networks has been widely studied for a number of tasks in audio domains. In speaker verification, however, utilization of raw waveforms is in its preliminary phase, requiring further investigation. In this study, we explore end-to-end deep neural networks that input raw waveforms to improve various aspects: front-end speaker embedding extraction including model architecture, pre-training scheme, additional objective functions, and back-end classification. Adjustment of model architecture using a pre-training scheme can extract speaker embeddings, giving a significant improvement in performance. Additional objective functions simplify the process of extracting speaker embeddings by merging conventional two-phase processes: extracting utterance-level features such as i-vectors or x-vectors and the feature enhancement phase, e.g., linear discriminant analysis. Effective back-end classification models that suit the proposed speaker embedding are also explored. We propose an end-to-end system that comprises two deep neural networks, one front-end for utterance-level speaker embedding extraction and the other for back-end classification. Experiments conducted on the VoxCeleb1 dataset demonstrate that the proposed model achieves state-of-the-art performance among systems without data augmentation. The proposed system is also comparable to the state-of-the-art x-vector system that adopts data augmentation.

研究の動機と目的

• 手動で設計された音響特徴を経由せずに、生波形を直接使用するエンド・ツー・エンドの話者識別システムの開発。
• アーキテクチャの最適化と事前学習による、生波形に基づく話者埋め込み抽出の性能向上。
• 特徴強化と埋め込み抽出を1つのエンド・ツー・エンド学習プロセスに統合し、別個のi-vector/x-vectorパイプラインの必要性を排除。
• 提案された話者埋め込みに最適化されたバックエンド分類モデルの評価と最適化。
• データ拡張を用いない状態でVoxCeleb1で最先端の性能を達成し、よりシンプルでアクセスしやすい研究ワークフローを可能にすること。

提案手法

• フロントエンドは、リプルスブロックとリークイリプルスReLU活性化関数を用い、生波形から直接発話レベルの話者埋め込みを抽出するGRU層を備える。
• 従来の研究とは異なり、段階的な学習を排除し、過学習を低減し一般化性能を向上させるために、変更された事前学習スキームを導入。
• 追加の目的関数を統合し、話者埋め込み抽出と特徴強化を同時に最適化することで、従来の2段階処理を1段階に統合。
• バックエンドには、登録時とテスト時の埋め込みの要素ごとの乗算（concat&mul）を用いたDNN分類器を採用し、PLDAや他のDNNベースの手法を上回る性能を発揮。
• 2段階のDNNパイプライン（埋め込み抽出用と分類用）をエンド・ツー・エンドで構築し、L2正則化とAMSGrad最適化を適用。
• ミニバッチサイズ102を用いてVoxCeleb1データセットでモデルを学習し、GRU層に再帰的ドロップアウト（0.3）と重み減衰（$10^{-4}$）を適用。

実験結果

リサーチクエスチョン

• RQ1 生波形を直接使用するエンド・ツー・エンドの深層ニューラルネットワークが、データ拡張を用いずにテキストに依存しない話者識別で最先端の性能を達成できるか？
• RQ2 アーキテクチャの変更と事前学習スキームが、生波形から抽出される話者埋め込みの品質に与える影響は何か？
• RQ3 追加の目的関数が、i-vector や x-vector 処理といった従来の特徴強化ステップを効果的に置き換えられるか？
• RQ4 生波形に基づく話者埋め込みと組み合わせた場合、どのバックエンド分類器アーキテクチャが最良の性能を発揮するか？
• RQ5 特に耐性とシンプルさの観点から、提案されたシステムは、既存のx-vectorおよびi-vectorシステムと比較してどのように異なるか？

主な発見

• 提案されたRawNetシステムは、VoxCeleb1データセットで4.0%の等誤差率（EER）を達成し、データ拡張を用いないシステムの中で新たな最先端性能を樹立した。
• ベースラインのCNN-LSTMシステムと比較して、EERが相対的に46.0%低減した。これは、アーキテクチャ的および学習プロトコルの改善による顕著な性能向上を示している。
• 追加の目的関数の導入により、モデルが暗黙的に特徴強化を実行でき、LDA や i-vector 処理を別途行う必要がなくなった。
• 登録時とテスト時の埋め込みの要素ごとの乗算（concat&mul）を用いるバックエンド分類器が、EER 4.0%を達成し、最良の性能を発揮した。
• データ拡張を行わない状態のx-vectorシステムですら、本システムに劣る性能を示し、生波形モデリングの有効性を裏付けた。
• ベースラインと比較して、相対誤差率（RER）が44.8%低減した。これは、適切に設計された直接的な波形モデリングが、従来のパイプラインを上回り得ることを示している。