[論文レビュー] DOA Estimation by DNN-based Denoising and Dereverberation from Sound Intensity Vector

Masahiro Yasuda, Yuma Koizumi+3 more|arXiv (Cornell University)|Oct 10, 2019

Speech and Audio Processing参考文献 7被引用数 4

ひとこと要約

本稿では、2つの深層ニューラルネットワーク（DNN）を用いてノイズ除去と混响除去を行うことで、音強度ベクトル（IV）に基づく方向音源推定（DOA）を向上させるハイブリッドDOA推定手法を提案する。DNNは時間周波数領域におけるIVを精錬した後、物理的モデルに基づくDOA推定を実行し、平均DOA誤差0.528°を達成した。これは、従来のIVベースおよびエンドツーエンドDNN手法を著しく上回った。

ABSTRACT

We propose a direction of arrival (DOA) estimation method that combines sound-intensity vector (IV)-based DOA estimation and DNN-based denoising and dereverberation. Since the accuracy of IV-based DOA estimation degrades due to environmental noise and reverberation, two DNNs are used to remove such effects from the observed IVs. DOA is then estimated from the refined IVs based on the physics of wave propagation. Experiments on an open dataset showed that the average DOA error of the proposed method was 0.528 degrees, and it outperformed a conventional IV-based and DNN-based DOA estimation method.

研究の動機と目的

• 低SNRおよび混雑環境におけるIVベースDOA推定のロバスト性を向上させること。
• ノイズおよび混雑条件下で性能が劣化する純粋なパrametricなIVベース手法の限界を解消すること。
• DNNベースの信号強化と物理的波動伝搬モデルを統合し、解釈可能性を保ちながら精度を向上させること。
• DNNベースの事前処理と物理的DOA推定を組み合わせることで、エンドツーエンドDNNや単独のIV手法よりも優れた性能を達成できることを実証すること。
• 空間的拡張およびマルチタスク学習がDOA推定のロバスト性向上にどの程度効果的であるかを検証すること。

提案手法

• 4チャネルスペクトログラムから、1次アンビソンクス（FOA）Bフォーマット信号を用いて時間周波数領域における音強度ベクトル（IV）を計算する。
• エネルギー閾値に基づき、高パワーの時間周波数（T-F）ビンを選択することで、ノイズを抑制するT-Fマスク（MASKnet）を適用する。
• 2番目のDNN（RIVnet）を用いて、IVからの残存干渉を推定・減算することで、混雑効果を低減する。
• ノイズ除去および混雑除去が施されたIVを組み合わせ、物理的式を用いて時系列DOAを計算する：$\phi_t = \arctan(I_{Y,t}/I_{X,t})$, $\theta_t = \arctan(I_{Z,t}/\sqrt{I_{X,t}^2 + I_{Y,t}^2})$。
• 角度推定と音源存在検出（SAD）の両方を同時に最適化するため、DOA回帰損失とSAD損失を組み合わせたマルチタスク損失関数を用いる。
• 16種類のパターンを用いたFOAドメインにおける空間的拡張を適用し、学習中の一般化性能およびロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 DNNベースのノイズ除去および混雑除去は、ノイズ多発および混雑環境下でのIVベースDOA推定の精度向上に寄与するか？
• RQ2 DNNベースの信号強化と物理的DOA推定を組み合わせることで、エンドツーエンドDNNや従来のIV手法よりも優れた性能が得られるか？
• RQ3 T-Fマスク（MASKnet）および残差IV推定ネットワーク（RIVnet）の併用は、DOA推定に向けたIVの精錬にどの程度有効か？
• RQ4 FOAドメインにおける空間的拡張は、本手法のロバスト性向上にどの程度寄与するか？
• RQ5 DOA推定にSADを統合することで、時系列DOAタスク全体の性能向上が達成できるか？

主な発見

• 提案手法は平均DOA誤差0.528°を達成し、従来のIVベース手法およびエンドツーエンドDNNベースラインを著しく上回った。
• アーキテクチャB（MASKnetとRIVnetの両方を有する）は、RIVnetを搭載しないアーキテクチャAよりも低いDOA誤差を達成し、混雑除去がIVベースDOA推定の精度向上に有効であることを示した。
• FOAドメインにおける空間的拡張を適用したアーキテクチャCは、最低の平均DOA誤差を達成し、データ拡張がDOA推定におけるDNNの一般化性能向上に寄与することを確認した。
• 提案手法のフレームリコール（FR）性能は、従来のIVベース手法を上回っており、音源存在検出の精度向上を示している。
• DOAとSADの両方の損失を統合したマルチタスク学習設定により、時系列DOA推定の全体的なロバスト性と精度が向上した。
• 離散化されたDOA推定値（10°解像度）に対して中央値スムージングを適用した後処理により、一貫性が向上し、イベントレベルのDOA出力における角度のジャイタが低減された。