[論文レビュー] Nonnegative Tensor Factorization for Directional Blind Audio Source Separation

Noah D. Stein|arXiv (Cornell University)|Nov 18, 2014

Speech and Audio Processing参考文献 11被引用数 4

ひとこと要約

本稿では、小規模で波長未満のマイクロフォンアレイからの到達方向（DOA）推定値を活用して、学習データを必要とせずに分離品質を向上させる、盲目的音源分離手法である方向性非負値テンソル因子分解（Directional NTF）を提案する。各音源ごとに共通の方向分布を課すことで空間的整合性を確保し、標準的なNMFと比較して二倍の実行時間増加で優れた聴覚的品質を達成する。これにより、従来の beamforming が失敗するミリメートルスケールのアレイでも効果的な分離が可能になる。

ABSTRACT

We augment the nonnegative matrix factorization method for audio source separation with cues about directionality of sound propagation. This improves separation quality greatly and removes the need for training data, with only a twofold increase in run time. This is the first method which can exploit directional information from microphone arrays much smaller than the wavelength of sound, working both in simulation and in practice on millimeter-scale microphone arrays.

研究の動機と目的

• 波長未満の間隔にある小型・コンactなマイクロフォンアレイにおいて、従来のビームフォーミングが失敗する状況での盲目的音源分離の課題に対処すること。
• 時間周波数チャンクにおけるDOA推定値を用いて方向情報を取り入れることで、標準的なNMFよりも分離品質を向上させること。
• クリアな学習データが入手できない現実世界の応用に適した、トレーニングフリー（非教師あり）の音源分離を実現すること。
• シミュレーションおよび実世界の環境において、ミリメートルスケールのMEMSマイクロフォンアレイ上でDirectional NTFの実現可能性と有効性を示すこと。
• 振幅差や広い間隔に依存する既存手法（例：DUET, ICA, ビームフォーミングベース手法）の限界を克服すること。

提案手法

• 周波数 $f$、時間 $t$、方向 $d$ におけるエネルギー分布を表す三方向テンソル $X(f,t,d)$ を構築し、$d$ は各時間周波数チャンクごとのDOA推定値から導出する。
• 非負値テンソル因子分解を適用し、$X(f,t,d) riangleq \text{sum}_{s,z} B(d,s) W(f,z,s) H(t,z,s)$ に分解する。ここで、$B(d,s)$ は音源 $s$ の空間的分布をモデル化し、$W(f,z,s)$ はスペクトル辞書、$H(t,z,s)$ は時間的活性化を表す。
• 各音源のスペクトル成分が方向的に一致するように、$B(d,s)$ が辞書成分インデックス $z$ に依存しないように制約を課すことにより、空間的整合性を強制する。
• 各音源ごとの方向分布に制約付きパrametric 形式 $q_{\theta_s}(d|s)$ を用い、自然パrameterの学習率 $\lambda=2$ を用いて勾配降下法で学習する。
• 複雑なラグランジュ乗数を避けるために、交互最小二乗法と確率的推論を用いて効率的にアルゴリズムを実装する。
• アレイ全体の位相差の最小二乗フィッティングによりDOA推定を実装し、3mm×5mm という極小アレイでも利用可能になるようにする。

実験結果

リサーチクエスチョン

• RQ1 波長未満のマイクロフォンアレイからの方向性情報は、学習データなしで盲目的音源分離に効果的に活用可能か？
• RQ2 NTF分解における空間的整合性の制約は、制約なしまたは構造の薄い手法と比較して、分離品質を顕著に向上させるか？
• RQ3 方向性NTFの性能は、教師ありNMFや他の最先端手法と比較して、聴覚的品質および客観的指標において優れているか？
• RQ4 ビームフォーミングが無効な現実世界のミリメートルスケールマイクロフォンアレイでも、高品質な分離が達成可能か？
• RQ5 各辞書成分ごとに方向性をモデル化するのではなく、音源ごとに共有の分布 $B(d,s)$ を用いることで、どのような影響が生じるか？

主な発見

• Directional NTF は、NMF や Directional NMF [15]、さらには教師ありNMFでさえも上回る、すべての標準評価基準（SDR, SIR, SDRi, SIRi）における BSS_EVAL スコアを達成し、シミュレーションで10.4%のSDRiスコアを記録した。
• クリアな学習データを一切使用していないにもかかわらず、音質の観点では教師ありNMFを上回った。NMFと比較して実行時間は2.2倍増加にとどまり、非常に高い効率を発揮した。
• 実際の3mm×5mmのMEMSマイクロフォンアレイ上でも、3人の同時発話者を効果的に分離できた。音声出力およびスペクトログラムは補足資料に掲載済み。
• 学習率 $\lambda=2$ を用いた制約付き $q_{\theta_s}(d|s)$ モデルは、制約なしバージョンよりも顕著に優れた結果を示し、構造的で整合性のある方向性モデリングの重要性を裏付けた。
• シミュレーションでは、Directional NTF は平均でSDRi 10.4%、SDR 13.7% を達成し、次善の手法（教師ありNMF）をSDRで3 dB以上、SDRiで2.5 dB以上上回った。
• DOA推定値が粗悪であっても、NTFモデル内の構造的制約のおかげで、誤った音源の混合を防ぎ、依然として効果的な分離が可能であることが分かった。