[論文レビュー] Multi-stream Convolutional Neural Network with Frequency Selection for Robust Speaker Verification

Wei Yao, Chen Shen+2 more|arXiv (Cornell University)|Dec 21, 2020

Speech Recognition and Synthesis参考文献 52被引用数 4

ひとこと要約

本論文は、周波数選択を組み込んだマルチストリーム畳み込みニューラルネットワーク（CNN）を提案し、時間的埋め込みの多様性を向上させることで、ロバストな発話者認証を実現する。この手法は、VoxCelebデータセット上で単一ストリームベースラインと比較して、最小意思決定コスト関数（minDCF）に20.53%の相対的改善を達成した。これは、部分周波数学習がロバスト性と性能を向上させることを示している。

ABSTRACT

Speaker verification aims to verify whether an input speech corresponds to the claimed speaker, and conventionally, this kind of system is deployed based on single-stream scenario, wherein the feature extractor operates in full frequency range. In this paper, we hypothesize that machine can learn enough knowledge to do classification task when listening to partial frequency range instead of full frequency range, which is so called frequency selection technique, and further propose a novel framework of multi-stream Convolutional Neural Network (CNN) with this technique for speaker verification tasks. The proposed framework accommodates diverse temporal embeddings generated from multiple streams to enhance the robustness of acoustic modeling. For the diversity of temporal embeddings, we consider feature augmentation with frequency selection, which is to manually segment the full-band of frequency into several sub-bands, and the feature extractor of each stream can select which sub-bands to use as target frequency domain. Different from conventional single-stream solution wherein each utterance would only be processed for one time, in this framework, there are multiple streams processing it in parallel. The input utterance for each stream is pre-processed by a frequency selector within specified frequency range, and post-processed by mean normalization. The normalized temporal embeddings of each stream will flow into a pooling layer to generate fused embeddings. We conduct extensive experiments on VoxCeleb dataset, and the experimental results demonstrate that multi-stream CNN significantly outperforms single-stream baseline with 20.53 % of relative improvement in minimum Decision Cost Function (minDCF).

研究の動機と目的

• 発話者認証において、フルバンド特徴の代わりに部分周波数帯域を用いることで、ニューラルネットワークが同等またはより優れた性能を達成できるかどうかを調査すること。
• 選択された周波数帯域のマルチストリーム処理により、時間的埋め込みの多様性を導入することで、音声モデリングのロバスト性を向上させること。
• 計算コストを低減しながら高い性能を維持できる実用的な二段階訓練戦略を開発すること。
• 深層発話者埋め込み学習における周波数選択が、データ拡張およびモデル正則化技術として有効であるかどうかを検証すること。

提案手法

• フレームワークは、周波数セレクタを介して選択された異なる周波数帯域を処理する複数の並列CNNストリームを用い、フルバンド入力を置き換える。
• 各ストリームは、畳み込み層を経て生成された時間的埋め込みを平均正規化し、その後プーリング処理を施して統合された埋め込みを生成する。
• 周波数セレクタは、フルバンドスペクトルを帯域（例：低域、高域）に手動で分割し、各ストリームが割り当てられた帯域のみを処理するように訓練される。
• 二段階訓練プロセスが採用される：第一段階では各ストリームを独立して訓練し、第二段階では最適な統合重みを探索してストリームを統合する。
• モデルはPyTorchを用いてVoxCelebデータセットで訓練および評価され、minDCFやEERといった標準指標が使用される。
• 周波数ドメインの多様性を活用することで、ノイズが多い、制約のない環境下でもロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 フルバンド周波数帯域の代わりに部分周波数帯域で訓練されたニューラルネットワークは、競争力のある性能を達成できるか？
• RQ2 周波数選択帯域を用いたマルチストリーム処理は、発話者認証における時間的埋め込みの多様性とロバスト性を向上させるか？
• RQ3 minDCFおよびEER性能の観点から、周波数選択手法は従来の単一ストリームフルバンド訓練と比較してどのように差がつくか？
• RQ4 二段階訓練戦略は、顕著な性能低下を伴わずに複数の周波数ストリームモデルを効果的に統合できるか？

主な発見

• 提案された周波数選択付きマルチストリームCNNは、単一ストリームベースラインと比較して、最小意思決定コスト関数（minDCF）に20.53%の相対的改善を達成した。
• EERはベースライン比で16.5%の相対的低下を示し、最良のモデルでは500エポック目で1.781%のEERを達成した。
• 3つのフルバンドモデルのアンサンブル（MS-1）は、単一ストリームベースラインと比較してわずかな性能低下を示した。これは、単純なアンサンブル化が周波数に配慮したマルチストリーム学習に比べて効果が劣ることを示している。
• 部分帯域特徴で訓練されたモデル（SS-2：低周波、SS-3：高周波）は、異なる初期化を用いたフルバンドモデルよりも優れた一般化性能を示した。これは、帯域学習が有益であることを示唆している。
• 提案手法の相対的改善率は、すべての訓練エポックで16%以上を維持し、安定的かつ顕著な向上を示した。
• 二段階訓練戦略は、エンドツーエンドの共同訓練に伴う計算負荷を回避しながら、最適な統合重みを用いてストリームを効果的に統合した。