[論文レビュー] CNN self-attention voice activity detector

Amit Sofer, Shlomo E. Chazan|arXiv (Cornell University)|Mar 6, 2022

Speech and Audio Processing被引用数 4

ひとこと要約

本稿では、空間的特徴抽出に畳み込みニューラルネットワーク（CNN）を、長距離の文脈的モデリングに自己注意（SA）エンコーダーを組み合わせた、新しいCNN自己注意語音検出（VAD）モデルを提案する。入力信号全体を一度に処理することで、軽量で効率的なアーキテクチャを実現し、実世界のベンチマークで最先端（SOTA）の性能を達成した。このアーキテクチャは、単独のCNNやSAモデルを上回る性能を発揮する。

ABSTRACT

In this work we present a novel single-channel Voice Activity Detector (VAD) approach. We utilize a Convolutional Neural Network (CNN) which exploits the spatial information of the noisy input spectrum to extract frame-wise embedding sequence, followed by a Self Attention (SA) Encoder with a goal of finding contextual information from the embedding sequence. Different from previous works which were employed on each frame (with context frames) separately, our method is capable of processing the entire signal at once, and thus enabling long receptive field. We show that the fusion of CNN and SA architectures outperforms methods based solely on CNN and SA. Extensive experimental-study shows that our model outperforms previous models on real-life benchmarks, and provides State Of The Art (SOTA) results with relatively small and lightweight model.

研究の動機と目的

• 騒音や混浊環境下における従来の信号処理およびディープラーニングベースのVAD手法の限界を解決すること。
• 従来のCNNおよびRNNベースのVADモデルが抱える受容 field の制限および逐次処理の制約を克服すること。
• CNNからの空間的特徴と自己注意による長距離時間的依存関係を併用することで性能を向上させること。
• 全長信号を一度の順方向プロパゲーションで処理可能な、計算効率の高いエンドツーエンドVADシステムを開発すること。
• 実世界の多様な音声ベンチマークでSOTAの性能を示す、軽量なアーキテクチャを実現すること。

提案手法

• モデルは、ノイズが混入した単一チャネル入力のメルスペクトログラムからフレーム単位の埋め込みを抽出するCNNエンコーダーを使用し、入力長および空間的構造を保持する。
• 得られた埋め込み系列は、長距離の文脈的依存関係をモデル化するための自己注意（SA）エンコーダーに供給される。
• SAエンコーダーは、全系列にわたってクエリ・キー・バリューの自己注意を計算し、各フレームが信号全体から関連するフレームに注目できるようにする。
• 最終的な全結合（FC）層が、各フレームにおける音声存在確率を推定する最終的なVAD出力を生成する。
• ラベル付きの音声／ノイズフレームを用いた交差エントロピー損失により、エンドツーエンドでモデルを学習する。
• アーキテクチャは、入力信号全体を一度に処理できるように設計されており、分割処理を伴わずに広い有効な受容 field を実現できる。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-自己注意アーキテクチャは、単独のCNNまたは自己注意モデルを上回る性能を発揮するか？
• RQ2 短いセグメントに分割して処理するのではなく、入力信号全体を一度に処理することで、騒音や混浊環境下でのVAD性能が向上するか？
• RQ3 自己注意メカニズムは、局所的または逐次的モデリングに比べて、VADにおける長距離の文脈的モデリングをどの程度向上させるか？
• RQ4 本稿で提案するモデルは、実世界の多様な音声ベンチマークで最先端のVADシステムと比較してどうなるか？
• RQ5 複雑な後処理やマルチステージ設計に依存せずに、軽量でシングルストリームのアーキテクチャがSOTA性能を達成できるか？

主な発見

• 提案されたCNN-自己注意モデルは、LibriSpeech、TIMIT、NISTデータセットを含む実世界のベンチマークで最先端（SOTA）の性能を達成した。
• LibriSpeechテストセットでは、入力系列全体を処理した場合にEERが5.05%、AUCが99.02%を達成し、FCNN（11.68%/95.7%）およびSAオンリーモデル（10.41%/96.62%）を上回った。
• Parkテストセットでは、AUCが99.04%を達成し、次善のモデル（98.80%）を0.24百分率ポイントの差で上回った。
• アブレーションスタディの結果、CNNとSAコンポーネントの統合が、単体のコンポーネントよりも優れた性能を発揮することが確認された。特に、LibriSpeechでは、FCNNベースラインに比べてEERが50%以上低減した。
• 注意可視化の結果、モデルは距離の離れた関連する音声フレームに正しく注目しており、非定常ノイズや一時的イベントへの注目は最小限に抑えられていた。
• モデルは高い効率性を維持しており、わずか560KパラメータでSOTA性能を達成し、一度の順方向プロパゲーションで全信号を処理可能であり、分割処理を伴わず長距離の文脈情報を活用できる。