[論文レビュー] Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation

Rongzhi Gu, Yuexian Zou|arXiv (Cornell University)|Jan 2, 2020

Speech and Audio Processing参考文献 66被引用数 10

ひとこと要約

本稿では、混响環境下におけるエンドツーエンドのマルチチャネル音声分離のための時間的・空間的ニューラルフィルタを提案する。時間的・スペクトル的・空間的・方向的特徴の統合的モデリングにより分離精度を向上させる。本手法は、低遅延・ワンパス推論を実現する完全畳み込み型オートエンコーダを用い、話者が15°以上離れている場合に方向推定誤差に対して高いロバスト性を示し、パラメータ数が少なく、高速な既存手法を上回る性能を発揮する。

ABSTRACT

Target speech separation refers to extracting the target speaker's speech from mixed signals. Despite the recent advances in deep learning based close-talk speech separation, the applications to real-world are still an open issue. Two main challenges are the complex acoustic environment and the real-time processing requirement. To address these challenges, we propose a temporal-spatial neural filter, which directly estimates the target speech waveform from multi-speaker mixture in reverberant environments, assisted with directional information of the speaker(s). Firstly, against variations brought by complex environment, the key idea is to increase the acoustic representation completeness through the jointly modeling of temporal, spectral and spatial discriminability between the target and interference source. Specifically, temporal, spectral, spatial along with the designed directional features are integrated to create a joint acoustic representation. Secondly, to reduce the latency, we design a fully-convolutional autoencoder framework, which is purely end-to-end and single-pass. All the feature computation is implemented by the network layers and operations to speed up the separation procedure. Evaluation is conducted on simulated reverberant dataset WSJ0-2mix and WSJ0-3mix under speaker-independent scenario. Experimental results demonstrate that the proposed method outperforms state-of-the-art deep learning based multi-channel approaches with fewer parameters and faster processing speed. Furthermore, the proposed temporal-spatial neural filter can handle mixtures with varying and unknown number of speakers and exhibits persistent performance even when existing a direction estimation error. Codes and models will be released soon.

研究の動機と目的

• 複雑な音響条件下の混響環境下におけるリアルワールドの音声分離の課題に取り組む。
• 時間周波数マスク手法の限界を克服するため、位相再構成誤差を避けるために時間領域波形を直接推定する。
• 完全畳み込み型・ワンパスのエンドツーエンドアーキテクチャにより、低遅延を実現し、ロバストでリアルタイム処理を可能にする。
• 時間的・スペクトル的・空間的・方向的判別能を統合的にモデリングすることで分離精度を向上させる。
• 特に話者が方向的に近くない場合に、方向推定誤差に対してロバストであることを保証する。

提案手法

• 時間的・スペクトル的・空間的・方向情報特徴を統合的に統合した統一されたアコースティック表現を構築し、音源識別能を向上させる。
• 2つの方向特徴（cosIPDとDPR）を設計し、各時間周波数チャンクにおける音源の優位性を、チャネル間位相差と方向グリッド解像度に基づいて表現する。
• 入力混合波をワンパスで処理する完全畳み込み型オートエンコーダネットワークを実装し、リアルタイムで低遅延推論を実現する。
• エンドツーエンドで訓練し、時間周波数マスク推定を経由せずに、マルチチャネル混合波から直接ターゲット音声波形を予測する。
• 話者方向を入力として用い、ネットワークがターゲット音源に注目できるようにし、話者固有の出力割り当てを可能にする。
• 方向特徴を活用し、特に角度差が15°を超える場合に空間的識別能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 時間的・スペクトル的・空間的・方向的特徴の統合的モデリングが、混響環境下でのターゲット音声分離精度を向上させ得るか？
• RQ2 話者が密接に配置されている場合に、方向推定誤差が生じた場合、本手法はどの程度の性能を示すか？
• RQ3 方向特徴の使用が、話者局在の角度不確実性に対してどの程度のロバスト性を向上させるか？
• RQ4 完全畳み込み型・ワンパスアーキテクチャは、モデルサイズを小さく抑え、低遅延を実現しながらも高い分離性能を達成できるか？
• RQ5 本手法は、未知または変動する話者数を有する混合音声をどのように処理するか？

主な発見

• 本手法は、話者独立条件下でWSJ0-2mixおよびWSJ0-3mixデータセットにおいて、最先端のディープラーニングベースのマルチチャネル音声分離手法を上回る性能を発揮した。
• 方向推定が正確で、話者角度差が15°を超える場合、cosIPD+AFベースラインと比較してSI-SDRiが0.3 dB以上向上した。
• 方向推定誤差による性能低下は最小限に抑えられ、角度差が15°以上で誤差が±10°以内の場合、2-mixではSI-SDRiが0.1 dB未満、3-mixでは0.4 dB未満の低下にとどまった。
• すべての方向推定誤差条件下で、WSJ0-2mixでは1.2 dB未満、WSJ0-3mixでは1.7 dB未満の劣化を示し、システムのロバスト性を維持した。
• 既存のエンドツーエンド手法と比較して、処理速度が速く、パラメータ数も少ないため、リアルタイムデプロイメントに適している。
• 本手法は最大3人の同時話者を有する混合音声を正しく処理でき、方向入力を用いて正しい話者に出力を割り当てることに成功した。