[論文レビュー] FCN Approach for Dynamically Locating Multiple Speakers

Hodaya Hammer, Shlomo E. Chazan+2 more|arXiv (Cornell University)|Aug 26, 2020

Speech and Audio Processing参考文献 27被引用数 4

ひとこと要約

本論文は、時間周波数（TF）ビン単位の方向音源（DOA）推定を用いた、完全畳み込みネットワーク（FCN）ベースのアプローチを提案する。インスタントタス空間特徴量とW-非交差直交性原理を活用することで、静的および動的状況の両方で優れた精度と滑らかなトラッキングを実現し、最大720 msのRT60を示す実験的・実環境の混响環境において、最先端の手法を上回る性能を発揮する。

ABSTRACT

In this paper, we present a deep neural network-based online multi-speaker localisation algorithm. Following the W-disjoint orthogonality principle in the spectral domain, each time-frequency (TF) bin is dominated by a single speaker, and hence by a single direction of arrival (DOA). A fully convolutional network is trained with instantaneous spatial features to estimate the DOA for each TF bin. The high resolution classification enables the network to accurately and simultaneously localize and track multiple speakers, both static and dynamic. Elaborated experimental study using both simulated and real-life recordings in static and dynamic scenarios, confirms that the proposed algorithm outperforms both classic and recent deep-learning-based algorithms.

研究の動機と目的

• 高混響性音響環境下における複数の移動スプーカーの正確かつリアルタイムなローカライゼーションの課題に取り組む。
• 時間分解能が低く、トラッキング能力に欠けるフレームベースのDOA推定手法の限界を克服する。
• 各時間周波数ビンが1人のスプーカーに支配されるW-非交差直交性の性質を活用し、高分解能のDOA推定を可能にする。
• さまざまな混響およびノイズ条件に強く、訓練環境を超えて一般化可能なデータ駆動型ディープラーニングモデルを開発する。
• シミュレート済みおよび実記録を用いたマルチスプーカーDOA推定のための公開可能でベンチマーク用のデータセットを構築する。

提案手法

• 完全畳み込みネットワーク（FCN）を訓練し、マイクロホン信号から得られるインスタントタス空間特徴量を用いて、各時間周波数（TF）ビンのDOAを予測する。
• 空間特徴量は、スペクトル領域における相対伝達関数（RTF）の実部および虚部として計算される。
• モデルはTF分解能の監視を用いて訓練され、W-非交差直交性原理に基づき、各TFビンに1つのDOAラベルを割り当てる。
• ネットワークアーキテクチャにより、エンドツーエンドでオンライン推論が可能となり、高時間分解能が実現され、複数スプーカーの同時局在とトラッキングが可能になる。
• 訓練データは、公開データセットから得た実空間インパulse応答（RIR）を用いて合成され、多様な音響条件およびスプーカーの動きを再現する。
• 本手法は、測定されたRIRを用いたシミュレートデータおよび、3Dトラッキングシステムによる真値が得られる制御環境下の実記録の両方で評価される。

実験結果

リサーチクエスチョン

• RQ1 時間周波数ビンレベルで訓練されたディープラーニングモデルは、高混響環境下でフレームレベル手法に比べ、より優れたDOA推定精度を達成できるか？
• RQ2 高分解能のTF監視により、強い混響下でも複数の移動スプーカーの正確で安定したトラッキングが可能か？
• RQ3 RT60条件が変化する状況下で、提案されたFCNベースのアプローチは、古典的手法（例：MUSIC、SRP-PHAT）および最近のディープラーニングベースライン（例：CMS-DOA）と比較して、MAEおよび精度の点で優れているか？
• RQ4 空間特徴量表現（例：RTFの実部・虚部 vs. 位相のコサイン・サイン）の違いがモデル性能に与える影響は何か？
• RQ5 十分なデータ多様性をもって訓練された場合、微調整なしに未観測の部屋および混響条件に一般化可能か？

主な発見

• 提案されたTF-DOAnetは、RT60 = 390 msのシミュレート部屋で平均絶対誤差（MAE）がわずか0.3°にまで低下したのに対し、CMS-DOAベースラインは13.1°であった。
• 高混響部屋（RT60 = 720 ms）において、TF-DOAnetは94.3%の精度を達成し、CMS-DOA（38.1%）および古典的手法（例：MUSICは16.9%）を大きく上回った。
• 1 mの距離での実記録（RT60 = 0.61 s）において、TF-DOAnetは98.3%の精度を達成したのに対し、CMS-DOAは71.9%であった。
• アブレーションスタディの結果、提案されたRTFベースの特徴量（実部・虚部）が、コサイン・サイン特徴量およびスペクトル特徴量の追加（性能がわずかに低下）を上回った。
• CMS-DOAとは異なり、TF-DOAnetは高混響条件下でも滑らかでノイズのないDOAトラジェクトリを生成した。
• 本手法は、静的および動的スプーカーの両状況において、多様な音響条件にわたり一貫した高い性能を示し、強靭性を示した。