[論文レビュー] Speech enhancement aided end-to-end multi-task learning for voice activity detection

Xu Tan, Xiao-Lei Zhang|arXiv (Cornell University)|Oct 23, 2020

Speech and Audio Processing参考文献 26被引用数 4

ひとこと要約

本稿では、新規の損失関数であるVADマスク付きスケール不変音源対歪み比（mSI-SDR）を用いて、音声強調（SE）と音声活動検出（VAD）を同時に最適化するエンドツーエンドのマルチタスク学習フレームワークを提案する。訓練中にVAD予測値を用いてSE出力をマスクすることで、目的関数レベルでの統合最適化を可能にし、特に騒音環境下（特にバブリングノイズや人間干渉）や低SNR条件下でのVADのロバスト性を顕著に向上させる。同時に、リアルタイム処理を維持し、単一タスクおよび先行のマルチタスクベースラインを上回る性能を達成する。

ABSTRACT

Robust voice activity detection (VAD) is a challenging task in low signal-to-noise (SNR) environments. Recent studies show that speech enhancement is helpful to VAD, but the performance improvement is limited. To address this issue, here we propose a speech enhancement aided end-to-end multi-task model for VAD. The model has two decoders, one for speech enhancement and the other for VAD. The two decoders share the same encoder and speech separation network. Unlike the direct thought that takes two separated objectives for VAD and speech enhancement respectively, here we propose a new joint optimization objective -- VAD-masked scale-invariant source-to-distortion ratio (mSI-SDR). mSI-SDR uses VAD information to mask the output of the speech enhancement decoder in the training process. It makes the VAD and speech enhancement tasks jointly optimized not only at the shared encoder and separation network, but also at the objective level. It also satisfies real-time working requirement theoretically. Experimental results show that the multi-task method significantly outperforms its single-task VAD counterpart. Moreover, mSI-SDR outperforms SI-SDR in the same multi-task setting.

研究の動機と目的

• 単一タスクのVADモデルが困難に直面する低信号対雑音比（SNR）および騒音環境下での音声活動検出（VAD）のロバスト性を向上させること。
• 先行のSE補強VAD手法における性能向上の限界を克服し、音声強調とVADの間でより深い統合最適化を可能にすること。
• VADの監視情報を音声強調の損失関数に統合する新しい統合最適化目的関数を設計し、相互学習を促進すること。
• Conv-TasNetの低遅延構造を保ったまま、リアルタイム推論を可能にするモデル設計を実現すること。
• 提案されたマルチタスクフレームワークとmSI-SDRが、VADおよびSEの両方の指標において、VAD専用およびSE専用のベースラインを上回ることを検証すること。

提案手法

• モデルは、音声強調とVADの両タスクに共通のエンコーダーと時空間畳み込みネットワーク（TCN）を用い、各タスクごとに別々のデコーダーを設ける。
• 提案されたmSI-SDR損失関数は、訓練中に真値および予測VADラベルを用いてSE出力をマスクし、音声活動セグメントに焦点を当てた最適化を実現する。
• mSI-SDRは、VADラベルがアクティブ（1）であるフレームに限定して計算されるスケール不変音源対歪み比であり、SE損失がVAD性能により関連性を持つように設計されている。
• アーキテクチャはConv-TasNetに基づいており、因果的拡張畳み込みおよび累積層正規化により、低遅延推論とリアルタイム動作を実現する。
• モデルは、mSI-SDR（SE用）とバイナリクロスエントロピー損失（VAD用）を組み合わせたマルチタスク目的関数に基づきエンドツーエンドで訓練される。
• このフレームワークにより、共有エンコーダーや分離ネットワークだけでなく、損失関数レベルでも統合最適化が可能となり、タスクの整合性が向上する。

実験結果

リサーチクエスチョン

• RQ1 音声強調と音声活動検出の共同学習は、低SNR環境下でのVADのロバスト性を向上させ得るか？
• RQ2 VADの監視情報を音声強調の損失関数に統合することで、独立学習や段階的学習に比べて性能が向上するか？
• RQ3 提案されたmSI-SDR損失関数は、VADとSEの両方を同時に最適化するマルチタスク設定において、標準的なSI-SDRを上回る性能を示すか？
• RQ4 性能向上を実現しつつも、マルチタスクモデルはリアルタイム推論を維持できるか？
• RQ5 提案手法の性能は、多様な騒音環境下で単一タスクのVADおよびSEベースラインと比較してどのように差がつくか？

主な発見

• バブリングノイズ下で-5 dB SNRの条件下で、VAD専用モデルに比べ、提案されたMulti-mSSモデルはAUCで73.77%の相対的向上、EERで59.83%の相対的低減を達成した。
• 最も困難な環境（バブリングノイズ下で-5 dB SNR）において、Multi-SSベースラインに比べ、Multi-mSSはAUCで30.43%の相対的向上、EERで16.87%の相対的低減を達成した。
• 因果的バージョンのMulti-mSSは、非因果的バージョンと比較して最小限の性能低下を示し、リアルタイム処理の実現可能性を裏付けた。
• Multi-mSSの音声強調指標（PESQ、STOI、SI-SDR）は、SE専用モデルと同等であり、SE性能に顕著な劣化がないことを示した。
• mSI-SDR損失は、同じマルチタスク設定においてSI-SDRを上回る性能を示し、SE最適化におけるVAD誘導マスクの有効性を実証した。
• モデルは、スペクトル特性が類似する音声形状ノイズ環境（例：バブリング、カフェ、歩行者）において、最も顕著な性能向上を示した。