[論文レビュー] Waveform-based Voice Activity Detection Exploiting Fully Convolutional networks with Multi-Branched Encoders

Cheng Yu, Kuo-Hsuan Hung+4 more|arXiv (Cornell University)|Jun 19, 2020

Speech and Audio Processing参考文献 36被引用数 6

ひとこと要約

本稿では、原始音声波形を直接処理するための、マルチブランチエンコーダー構造を有する完全畳み込みネットワーク（FCN）を用いた波形ベースの音声活動検出（WVAD）システムを提案する。アンサンブルフレームワーク（WEVAD）により、複数の属性固有エンコーダーを統合することで、AURORA2およびTMHINTデータセットにおいて最先端の性能を達成し、多様なノイズ環境下でAUCおよび精度が顕著に向上した。

ABSTRACT

In this study, we propose an encoder-decoder structured system with fully convolutional networks to implement voice activity detection (VAD) directly on the time-domain waveform. The proposed system processes the input waveform to identify its segments to be either speech or non-speech. This novel waveform-based VAD algorithm, with a short-hand notation "WVAD", has two main particularities. First, as compared to most conventional VAD systems that use spectral features, raw-waveforms employed in WVAD contain more comprehensive information and thus are supposed to facilitate more accurate speech/non-speech predictions. Second, based on the multi-branched architecture, WVAD can be extended by using an ensemble of encoders, referred to as WEVAD, that incorporate multiple attribute information in utterances, and thus can yield better VAD performance for specified acoustic conditions. We evaluated the presented WVAD and WEVAD for the VAD task in two datasets: First, the experiments conducted on AURORA2 reveal that WVAD outperforms many state-of-the-art VAD algorithms. Next, the TMHINT task confirms that through combining multiple attributes in utterances, WEVAD behaves even better than WVAD.

研究の動機と目的

• スペクトル特徴ではなく、原始音声波形を直接処理する新しい音声活動検出（VAD）システムの開発。
• アンサンブルによるエンコーダーの組み合わせを通じて、複数の音声属性を活用することで、困難な騒音環境下でのVADのロバスト性と精度を向上。
• 手動で設計されたスペクトル特徴に依存せずに、高精度を維持するコンactなエンドツーエンドのディープラーニングフレームワークの設計。
• さまざまな信号対雑音比（SNR）およびノイズタイプの下で、ベンチマークデータセット上で提案手法の有効性を検証。

提案手法

• 提案手法は、原始波形入力を直接処理する完全畳み込みネットワーク（FCN）に基づくエンコーダ-デコーダー構造を採用。
• 複数のブランチを有するエンコーダー構造を採用し、各ブランチが異なる音声属性（例：エネルギー、ゼロクロスレート、スペクトル重心）を、発話レベル属性ツリー（UAT）アルゴリズムを介して処理。
• 複数の属性固有エンコーダーの出力を統合し、共有デコーダーを通過させて最終的な音声／非音声分類を実行。
• AUCと精度の両方を最適化するため、バイナリクロスエントロピー損失を用いてエンドツーエンドで学習。
• アンサンブル版であるWEVADは、複数のエンコーダーブランチの予測を統合することで、ロバスト性と一般化性能を向上。
• カーネルサイズやストライドなどのハイパーパrameterは、TMHINTデータセットの16 kHzサンプリングレートに合わせて調整。

実験結果

リサーチクエスチョン

• RQ1 スペクトル特徴ではなく、原始波形を直接学習対象とする完全畳み込みネットワークベースのVADシステムは、優れた性能を達成できるか？
• RQ2 マルチブランチエンコーダー構造を用いて複数の音声属性を統合することで、騒音環境下でのVADのロバスト性が向上するか？
• RQ3 WEVAD（複数の属性固有エンコーダーのアンサンブル）は、単一エンコーダー構造（WVAD）と比較して、多様なノイズタイプおよびSNRレベル下でAUCおよび精度にどのような差を示すか？
• RQ4 提案された波形ベースの手法は、AURORA2およびTMHINTといった標準ベンチマークで、既存の最先端VADアルゴリズムをどの程度上回るか？

主な発見

• AURORA2データセットにおいて、WVADは、-5 dBおよび0 dB SNRの列車ノイズを除き、ほとんどのノイズタイプおよびSNRレベルで比較対象の8つの手法の中で最高の正解率（ACC）を達成した。
• AURORA2データセットにおいて、WVADは全SNRレベルで他の4つの最先端アルゴリズムと比較して顕著に高いAUCスコアを達成し、優れた識別性能を示した。
• TMHINTデータセットにおいて、6つの属性固有エンコーダーを用いたWEVAD（6）は、平均AUC（97.78%）で最高、平均ACC（95.75%）で2番目に高く、WVADおよびWEVAD（2）を上回った。
• デコーダーブロックからの出力ヒストограмムは、深層層へ進むに従い、音声と非音声の分布が明確に分離していることを示しており、識別能力の向上を示している。
• WEVAD（6）は、TMHINTデータセットの全SNRレベルで最適なAUCスコアを達成し、より多様な音響属性を統合することの利点を裏付けた。
• モデルの最終出力分布は、特に低SNR条件下で、真陽性と真陰性のケースの分離が明確になっており、ロバストな意思決定境界を示している。