[論文レビュー] Improved RawNet with Feature Map Scaling for Text-independent Speaker Verification using Raw Waveforms

Jee-weon Jung, Seung-bin Kim+3 more|arXiv (Cornell University)|Apr 1, 2020

Speech Recognition and Synthesis参考文献 28被引用数 7

ひとこと要約

本論文では、学習可能なシグモイドベースのスケールベクトルを用いて畳み込み特徴マップを自己調整的にスケーリングする、Feature Map Scaling (FMS) を提案する。この手法により、判別的なフィルタを強調するため、乗法的・加法的、または両方のスケーリング操作を適用し、RawNetにおけるテキストに依存しない話者検証性能を向上させる。VoxCeleb1 においては、元の RawNet の EER を半減させる 48.33% の相対誤差率（RER）削減を達成し、拡張されたプロトコルにおいては最先端のシステムをわずかに上回った。

ABSTRACT

Recent advances in deep learning have facilitated the design of speaker verification systems that directly input raw waveforms. For example, RawNet extracts speaker embeddings from raw waveforms, which simplifies the process pipeline and demonstrates competitive performance. In this study, we improve RawNet by scaling feature maps using various methods. The proposed mechanism utilizes a scale vector that adopts a sigmoid non-linear function. It refers to a vector with dimensionality equal to the number of filters in a given feature map. Using a scale vector, we propose to scale the feature map multiplicatively, additively, or both. In addition, we investigate replacing the first convolution layer with the sinc-convolution layer of SincNet. Experiments performed on the VoxCeleb1 evaluation dataset demonstrate the effectiveness of the proposed methods, and the best performing system reduces the equal error rate by half compared to the original RawNet. Expanded evaluation results obtained using the VoxCeleb1-E and VoxCeleb-H protocols marginally outperform existing state-of-the-art systems.

研究の動機と目的

• 音声特徴のエンジニアリングを一切行わずに、生波形を直接処理することで RawNet のテキストに依存しない話者検証性能を向上させること。
• ソフトマックスによる排他的選択を用いる従来のアテンション機構が、判別的な情報をあまりに多く捨ててしまうという限界を是正すること。
• フィルタ応答を独立して調節可能な、学習可能なシグモイドベースのスケールベクトルを導入することで、特徴マップ表現を強化すること。
• 周波数応答のモデリングを改善するために、最初の畳み込み層を SincNet 由来の sinc-畳み込み層に置き換える有効性を調査すること。
• 生波形処理の文脈において、GRUベースのアグリゲーションを自己アテンションプーリング機構に置き換える影響を評価すること。

提案手法

• 学習可能なスケールベクトルとシグモイド活性化関数を用いて、フィルタ次元に沿って特徴マップを調整する Feature Map Scaling (FMS) のメカニズムを提案する。
• FMS を3つの構成で適用：乗法的スケーリング、加法的スケーリング、および両方を逐次適用することで、判別力の向上を図る。
• ネットワーク内の各残差ブロックの後に FMS を適用し、系列アグリゲーションの前にフレームレベルの表現を精緻化する。
• RawNet の最初の畳み込み層を、SincNet 由来の sinc-畳み込み層に置き換えることで、生波形内の周波数特徴をよりよく捉える。
• GRU層を自己アテンションプールとマルチヘッド自己アテンションプールに置き換えることで、発話レベルの表現学習を評価する。
• モデルを三重損失関数を用いて学習し、VoxCeleb1 および拡張プロトコルにおける等誤り率（EER）を評価指標として使用する。

実験結果

リサーチクエスチョン

• RQ1 標準的なアテンション機構と比較して、シグモイドベースで学習可能なフィルタスケーリングが、話者検証性能の向上に寄与するか？
• RQ2 乗法的および加法的特徴マップスケーリングを併用することで、単独での適用よりも優れた判別的表現が得られるか？
• RQ3 最初の畳み込み層を sinc-畳み込み層に置き換えることで、話者検証における生波形モデリング性能が向上するか？
• RQ4 自己アテンションプールは、生波形ベースの話者埋め込み抽出において GRU ベースのアグリゲーションを上回る性能を示すか？
• RQ5 拡張評価プロトコル（VoxCeleb1-E および VoxCeleb1-H）において、提案された FMS を用いたシステムは最先端の手法を上回るか？

主な発見

• 提案された FMS 法により、元の RawNet と比較して等誤り率（EER）が 50% 削減され、標準的な VoxCeleb1 評価プロトコルで EER 2.46% を達成した。
• 乗法的および加法的 FMS を逐次適用した（System #11）が最も優れた性能を示し、EER 2.56% を達成した。
• 最初の畳み込み層を sinc-畳み込み層に置き換えることで、さらに性能が向上し、EER がさらに 3.12% 削減された（System #15）。このモデルは RawNet2 と呼ばれる。
• RawNet2 は VoxCeleb1-E プロトコルで EER 2.87%、VoxCeleb1-H プロトコルで EER 4.89% を達成し、既存の最先端システムをわずかに上回った。
• 自己アテンションプールおよびマルチヘッド自己アテンションプールは、元の GRU ベースのアグリゲーションを上回る性能を示さなかった。これは、このアーキテクチャにおいて GRU が依然としてより効果的であることを示している。
• シグマ・エクスカーションおよび CBAM モジュールはわずかな改善を示したが、FMS を用いた手法は顕著に優れており、提案されたスケーリング機構の有効性を裏付けた。