[論文レビュー] Localization and Tracking of an Acoustic Source using a Diagonal Unloading Beamforming and a Kalman Filter

Daniele Salvati, Carlo Drioli+1 more|arXiv (Cornell University)|Dec 4, 2018

Speech and Audio Processing参考文献 6被引用数 4

ひとこと要約

本稿では、方向性の到来角（DOA）推定にデイゴナルアンローディング（DU）ビームフォーミングを、時間的平滑化にカルマンフィルタ（KF）を用いた、低複雑性で高分解能な音源局所化・追跡システムを提示する。フレームワークは、LOCATAチャレンジデータセットにおける静的および動的シナリオにおいて、線形、擬似球面、球面構成の多様なマイクロホンアレイで、サブデグリーのRMSE性能を達成した。

ABSTRACT

We present the signal processing framework and some results for the IEEE AASP challenge on acoustic source localization and tracking (LOCATA). The system is designed for the direction of arrival (DOA) estimation in single-source scenarios. The proposed framework consists of four main building blocks: pre-processing, voice activity detection (VAD), localization, tracking. The signal pre-processing pipeline includes the short-time Fourier transform (STFT) of the multichannel input captured by the array and the cross power spectral density (CPSD) matrices estimation. The VAD is calculated with a trace-based threshold of the CPSD matrices. The localization is then computed using our recently proposed diagonal unloading (DU) beamforming, which has low-complexity and high resolution. The DOA estimation is finally smoothed with a Kalman filer (KF). Experimental results on the LOCATA development dataset are reported in terms of the root mean square error (RMSE) for a 7-microphone linear array, the 12-microphone pseudo-spherical array integrated in a prototype head for a humanoid robot, and the 32-microphone spherical array.

研究の動機と目的

• 単一音源の音響シナリオにおける正確で頑健な到来角（DOA）推定の課題に対処すること。
• リソース制限のある環境におけるリアルタイム実装に適した低複雑性で高分解能なビームフォーミング手法の開発。
• 時間経過にわたるDOA推定の平滑化を図るため、カルマンフィルタを統合し、騒音や動的状況下でも追跡の安定性を向上させること。
• LOCATA開発データセット上で、線形、擬似球面、球面構成の多様なマイクロホンアレイ構成に対してシステムを評価すること。
• 人間-ロボットインタラクション、テレビ会議、音声監視などの応用分野における実用的導入を想定した信号処理パイプラインの最適化。

提案手法

• 2048点のFFT、512点のハップサイズ、ハニング窓を用いて、マルチチャンネル音声信号に短時間フーリエ変換（STFT）を適用。
• スペクトルの整合性とノイズ耐性を向上させるために、25フレームの平均をとることで相互パワー スペクトル密度（CPSD）行列を推定。
• 各アレイタイプごとに経験的に調整したしきい値を用いて、トレースベースの音声活動検出（VAD）を実装。
• CPSD行列からトレーススケーリングされた単位行列を差し引くことで分解能を向上させるデイゴナルアンローディング（DU）ビームフォーミングを用いてDOA推定を実行。
• 80–8000 Hz帯域にわたる狭帯域DU応答の非整合周波数統合により、ブロードバンドのスティアドレスポンスパワー（SRP）を計算。
• プロセスノイズと測定ノイズのパrameterを用いて、状態予測と補正ステップを含む拡張カルマンフィルタ（EKF）を用いてDOAを時間的に追跡。

実験結果

リサーチクエスチョン

• RQ1 デイゴナルアンローディングビームフォーミングは、従来のビームフォーマーと比較して、DOA推定の分解能および計算複雑性の面でどのように異なるか？
• RQ2 カルマンフィルタリングは、動的スピーカーシナリオにおけるDOA推定の時間的安定性と正確性をどの程度向上させるか？
• RQ3 異なるマイクロホンアレイの幾何配置（線形、擬似球面、球面）が、さまざまな音響条件下でシステムの性能に与える影響は何か？
• RQ4 VADしきい値の選定が、局所化の正確性および背景ノイズに対する耐性に与える影響は何か？
• RQ5 提案されたフレームワークは、動く音源やアレイを伴う現実世界の非拡声環境でも、高精度なDOA推定を達成できるか？

主な発見

• 静的スピーカーと静的アレイの条件下（タスク1、録音3）で、7マイクロホン線形アレイで方位角のRMSEが0.972°を達成した。
• 動くスピーカーと静的アレイのシナリオ（タスク3）において、ロボットヘッドアレイは録音3で方位角RMSEが2.880°、仰角RMSEが2.807°を達成した。
• 最も挑戦的なタスク（タスク5、動くスピーカーと動くアレイ）において、エイゲンマイク球面アレイは録音1で方位角RMSEが4.433°、仰角RMSEが3.100°を達成した。
• アレイの運動やスピーカーのダイナミクスに対しても頑健であることが示され、静的または低運動状態のシナリオで最も低いRMSE値が観測された。
• 各アレイタイプごとに経験的に最適化されたVADしきい値（線形：200、ロボットヘッド：50、エイゲンマイク：10）は、検出の信頼性を顕著に向上させた。
• カルマンフィルタは、特に高運動およびノイズの多い状況下でDOA推定のジャイタ（揺らぎ）を効果的に低減し、図3および図4の滑らかな軌道がその効果を裏付けている。