[論文レビュー] Multi-Speaker Localization Using Convolutional Neural Network Trained with Noise

Soumitro Chakrabarty, Emanuël A. P. Habets|arXiv (Cornell University)|Dec 12, 2017

Speech and Audio Processing参考文献 12被引用数 36

ひとこと要約

本稿では、時間周波数ドメインにおける話者活動の非重複（W-非交差直交性）を仮定したもとで、合成ノイズ信号を用いたトレーニングを活用する畳み込みニューラルネットワーク（CNN）ベースの多話者方向音源（DOA）局所化手法を提案する。模擬的な混响・ノイズ環境下でも、SRP-PHATより低い平均絶対誤差（MAE）を達成しており、最小限の後処理で優れたロバストネスと性能を示している。

ABSTRACT

The problem of multi-speaker localization is formulated as a multi-class multi-label classification problem, which is solved using a convolutional neural network (CNN) based source localization method. Utilizing the common assumption of disjoint speaker activities, we propose a novel method to train the CNN using synthesized noise signals. The proposed localization method is evaluated for two speakers and compared to a well-known steered response power method.

研究の動機と目的

• 従来の手法が性能を低下させる混響的・ノイズ環境下における多話者DOA推定の課題に対処すること。
• 実世界データの代わりに合成ノイズ信号を用いることで、深層学習モデルの多話者局所化のための大規模トレーニングを可能にすること。
• 時間周波数ドメインにおけるW-非交差直交性仮定（非重複活動）を活用し、混合信号上でCNNを効果的にトレーニングすること。
• マイク間の位相関係を保持しつつ、合成トレーニングデータにおける多様なDOA組み合わせを可能にするデータ生成戦略を開発すること。
• 実際の不一致音響条件下で、強力なベースライン（SRP-PHAT）と比較して本手法の性能を評価すること。

提案手法

• DOA推定問題を、37個の離散的DOAクラス（5°解像度）を持つ多クラス多ラベル分類タスクとして定式化する。
• CNNの入力は、STFT係数の位相マップであり、M×K行列（M個のマイク、K個の周波数帯域）として表現され、マイク間の位相相関を保持する。
• 各周波数帯域ごとに隣接するマイク間の位相差を学習する2×1ローカルフィルタアーキテクチャを採用し、DOAに対する感度を向上させる。
• 最終層にシグモイド活性化関数を用いることで、1フレームあたり複数のDOA予測を可能とし、多話者検出を実現する。
• トレーニングデータは、異なるDOAを持つ2つの単話者ノイズ信号を連結し、各周波数帯域ごとに時間周波数（TF）ビンをランダムにシャッフルすることで、混合・非重複活動信号を模擬する。
• ランダム化により、各TFビン内ではマイク間の位相コherエンスが保持され、周波数帯域順序も維持されるため、各フレームに1つのソースからのみの信号が含まれるよう保証される。

実験結果

リサーチクエスチョン

• RQ1 合成ノイズ信号でトレーニングされたCNNは、混響的・ノイズ環境下でも多話者DOA局所化をロバストに実現できるか？
• RQ2 時間周波数ドメインにおけるW-非交差直交性仮定は、実際の混合データが不要な状況でも、混合信号上でCNNを効果的にトレーニング可能にするか？
• RQ3 不一致音響条件下で、ノイズでトレーニングされたCNNの性能は、標準的なSRP-PHAT手法と比べてどの程度優れているか？
• RQ4 CNNが複数のDOAを特定できる能力が、非重複活動下でのマイク間位相差の学習に起因する程度はどの程度か？
• RQ5 SNRレベルの変化が、CNNの局所化精度に与える影響は、SRP-PHATと比較してどの程度か？

主な発見

• 合成ノイズ信号でトレーニングされたCNNは、30 dB SNRで平均絶対誤差（MAE）1.8°を達成し、同じ条件下でSRP-PHATの18.2°を顕著に上回った。
• 20 dB SNRでは、CNNは6.1°のMAEを達成したのに対し、SRP-PHATは21.6°であった。SNRレベルにかかわらず一貫した優位性が示された。
• 10 dB SNRでは、CNNは14.3°のMAEを達成したが、SRP-PHATは27.1°にまで上昇した。低SNR環境下でもCNNのロバストネスが顕著に示された。
• CNNの出力分布は真のDOA位置に明確で鋭いピークを示したが、SRP-PHATは平坦で識別性に欠ける分布を示しており、性能差の理由が説明された。
• 本手法は、複雑なビームフォーミングやクラスタリングを必要とせず、フレーム単位の事後確率と簡単な後処理のみで2つの音源を正常に局所化できた。
• 結果から、ランダム化に基づくデータ生成により非重複活動が暗黙的に保持されるため、CNNが混合信号中でも位相差からDOAを効果的に学習していることが示唆された。