[論文レビュー] Real-time binaural speech separation with preserved spatial cues

Cong Han, Yi Luo+1 more|arXiv (Cornell University)|Feb 16, 2020

Speech and Audio Processing参考文献 20被引用数 4

ひとこと要約

本論文は、並列エンコーダとマスク・アンド・サム機構を用いて、左右間時間差（ITD）および左右間レベル差（ILD）といった間位的ヒントを保持する、リアルタイムでエンド・ツー・エンドの多入力・多出力（MIMO）時間領域音声分離ネットワーク（MIMO TasNet）を提案する。この手法は、騒音や混浊環境を含む多様な音響条件下でも、高精細で低遅延のバイノラル分離を実現し、信号品質と空間的ヒントの保持の両面で顕著な向上を達成する。

ABSTRACT

Deep learning speech separation algorithms have achieved great success in improving the quality and intelligibility of separated speech from mixed audio. Most previous methods focused on generating a single-channel output for each of the target speakers, hence discarding the spatial cues needed for the localization of sound sources in space. However, preserving the spatial information is important in many applications that aim to accurately render the acoustic scene such as in hearing aids and augmented reality (AR). Here, we propose a speech separation algorithm that preserves the interaural cues of separated sound sources and can be implemented with low latency and high fidelity, therefore enabling a real-time modification of the acoustic scene. Based on the time-domain audio separation network (TasNet), a single-channel time-domain speech separation system that can be implemented in real-time, we propose a multi-input-multi-output (MIMO) end-to-end extension of TasNet that takes binaural mixed audio as input and simultaneously separates target speakers in both channels. Experimental results show that the proposed end-to-end MIMO system is able to significantly improve the separation performance and keep the perceived location of the modified sources intact in various acoustic scenes.

研究の動機と目的

• 音源定位に不可欠な空間的ヒントを失う単一入力音声分離手法の限界を是正すること。
• リアルタイムでエンド・ツー・エンドのバイノラル分離システムを構築し、左右間時間差（ITD）および左右間レベル差（ILD）を保持すること。
• 補聴器や拡張現実（AR）などの応用に適した、聴取者に依存しない低遅延の音響シーン変更を可能にすること。
• MIMO TasNetの性能を、騒音や混浊環境を含む困難な環境下で評価すること。

提案手法

• 時間領域音声分離ネットワーク（TasNet）を多入力・多出力（MIMO）フレームワークに拡張し、バイノラル混合音声を直接処理する。
• 左および右のマイクロホン信号から同時にクロスチャネル特徴を抽出するために、並列エンコーダを採用する。
• 両チャネルのエンコーダ出力を連結し、共有のマスク推定ネットワークを通過させて空間的およびスペクトル的マスクを生成する。
• 各チャネルを個別に処理するためのマスク・アンド・サム機構を適用し、共同スペクトルおよび空間フィルタリングを実現する。
• 線形デコーダを用いて、マスク化されたエンコーダ出力からバイノラル分離音声信号を再構築する。
• 一部のバージョンでは、間位的特徴（IPD、ILD）を入力埋め込みとして組み込むことで、ヒントの保持を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのMIMO音声分離システムは、リアルタイム性能を達成しつつ、間位的ヒント（ITDおよびILD）を保持できるか？
• RQ2 MIMO TasNetは、単一入力TasNetおよび他のMIMOバージョンと比較して、信号品質および空間的ヒント保持の観点で優れているか？
• RQ3 本手法は、さまざまな話者角度や環境条件下でも、空間的局在精度をどの程度維持できるか？
• RQ4 追加のノイズや部屋の混浊といった悪条件下で、システムはどの程度の性能を示すか？

主な発見

• 並列エンコーダとマスク・アンド・サム機構を備えたMIMO TasNetは、混浊環境下で最高の分離品質（SNR向上9.4 dB）と最小のITD誤差（5.9 μs）を達成した。
• 最小遅延が5 ms未満であり、ハワブルデバイスへのリアルタイム展開を可能にした。
• 全話者角度において、単一入力TasNetベースラインと比較して、ITD誤差を70%、ILD誤差を60%削減した。
• ノイズ環境下では、並列エンコーダを備えたMIMO TasNetが他のすべてのバージョンを上回り、全ノイズレベルで優れた信号品質と空間的ヒント保持を維持した。
• SNR向上とITD/ILD誤差低減の間には強い相関関係が認められ（それぞれr = -0.77およびr = -0.85）、良好な分離が空間的ヒントの忠実性を向上させることを確認した。
• 3人同時話者混合状況でも、MIMO TasNetは顕著な性能を維持したが、低出力または空間的に類似した話者が誤分類されたため、ITDおよびILDの保持が劣化した。