[論文レビュー] SSLIDE: Sound Source Localization for Indoors based on Deep Learning

Yifan Wu, Roshan Ayyalasomayajula+3 more|arXiv (Cornell University)|Oct 27, 2020

Speech and Audio Processing参考文献 28被引用数 5

ひとこと要約

SSLIDEは、反響の強い屋内環境における音源位置推定とマルチパス歪みの低減を同時に実現する、エンコーダ・デコーダアーキテクチャに二重デコーダを備えた深層学習ベースの音源位置推定手法を提案する。シミュレート済みおよび実世界のデータにおいて、MUSIC、SRP-PHAT、SBL、CNNを上回る最先端の性能を達成し、平均絶対誤差が低く、反響時間、マイク間隔、未知の話者信号に対して優れた一般化性能を示す。

ABSTRACT

This paper presents SSLIDE, Sound Source Localization for Indoors using DEep learning, which applies deep neural networks (DNNs) with encoder-decoder structure to localize sound sources with random positions in a continuous space. The spatial features of sound signals received by each microphone are extracted and represented as likelihood surfaces for the sound source locations in each point. Our DNN consists of an encoder network followed by two decoders. The encoder obtains a compressed representation of the input likelihoods. One decoder resolves the multipath caused by reverberation, and the other decoder estimates the source location. Experiments based on both the simulated and experimental data show that our method can not only outperform multiple signal classification (MUSIC), steered response power with phase transform (SRP-PHAT), sparse Bayesian learning (SBL), and a competing convolutional neural network (CNN) approach in the reverberant environment but also achieve a good generalization performance.

研究の動機と目的

• マルチパス効果により従来手法が失敗する反響の強い屋内環境において、耐障害性の高い音源位置推定（SSL）手法を開発すること。
• 事前に定義された候補DOAグリッドに依存しない連続空間における位置推定を可能にし、実世界への応用性を高めること。
• 反響時間、マイク配置、未知の話者信号の変動に対して優れた一般化性能を発揮すること。
• 一つの深層ニューラルネットワークに二重の並列デコーダを備え、音源位置の推定とマルチパス歪みの低減を同時に実行すること。

提案手法

• 本手法は、時間周波数ドメインにおけるビームフォーミングから得られる入力の尤度分布を圧縮するエンコーダを備えた深層ニューラルネットワーク（DNN）を用いる。
• 二重の並列デコーダを採用：一方は音源位置の推定を、もう一方は部屋の反響に起因するマルチパス歪みの低減を担当する。
• 入力特徴は、短時間フーリエ変換（STFT）と角度 $ \theta $ および距離 $ d $ に対するステアリングベクトルの射影を用いて計算された尤度分布 $ P_{ns}\left(\theta,d\right) $ である。
• 尤度分布は、角度と距離の2次元グリッド $ U \times V $ ポイント上に表現され、DNNの入力テンソルを形成する。
• 教師あり学習を用いてエンドツーエンドに訓練され、真値の音源位置とマルチパスに配慮したターゲットが使用される。
• マルチパス低減デコーダは、尤度表現における反響に起因する歪みを抑制するように特に設計されている。

Fig. 1 : Likelihood surfaces (a) before and (b) after range compensation, and (c) after range compensation and coordinate transformation, (d) Output likelihood surface from localization decoder. The correct source position (+), and maximum value (for (a) - (c)) / predicted location (for (d)) ( $\cir

実験結果

リサーチクエスチョン

• RQ1 二重デコーダアーキテクチャを備えた深層学習モデルは、MUSIC や SRP-PHAT といった古典的手法を、極めて反響の強い屋内環境で上回ることができるか？
• RQ2 提案手法は、反響時間、マイク間隔、および未知の話者信号の変動に対して優れた一般化性能を示すか？
• RQ3 マルチパス低減デコーダは性能向上に不可欠であり、その削除によって位置推定精度が著しく低下するか？
• RQ4 多くのベースライン手法がその前提を必要とするのとは異なり、事前に定義されたDOA候補グリッドに依存せずに、正確な位置推定が可能か？

主な発見

• シミュレートデータにおいて、0.6秒のRT60条件下でSSLIDEは平均絶対誤差（MAE）6.7メートルを達成し、SRP-PHAT（25メートル）、MUSIC（27メートル）、SBL（17メートル）、CNN（16メートル）を上回った。
• MIRDデータセットでは、SSLIDEのDOA推定におけるMAEは8.1°であり、SRP-PHAT（19°）、MUSIC（18°）、SBL（18°）、CNN（9.8°）を大きく下回った。
• アブレーションスタディの結果、マルチパス低減デコーダを削除すると、シミュレートデータでMAEが0.2～0.3メートル、MIRDデータで0.06～0.12°上昇し、その重要性が確認された。
• 摂動テストにおいてもSSLIDEは優れた一般化性能を示した：0.6秒の訓練時RT60から0.7秒に変更した場合、MAEは0.77メートルから0.93メートルに増加したが、CNN（1.1メートルから1.7メートル）を上回った。
• 3つの新たな未知の話者録音データでテストした結果、SSLIDEのMAEは0.45メートルを維持したのに対し、CNNは12.0メートルにまで上昇し、話者変動に対する優れた耐障害性が示された。
• SRP-PHAT、MUSIC、SBL、CNNとは異なり、SSLIDEは事前に定義されたDOA候補グリッドに依存せず、優れた性能を発揮した。

Fig. 2 : SSLIDE architecture. $C$ , $N$ , $X$ and $Y$ are followed by the definitions in Sec 2.1–2.4. s and p stand for stride and padding, respectively