[論文レビュー] TRAMP: Tracking by a Real-time AMbisonic-based Particle filter

Srđan Kitić, Alexandre Guérin|arXiv (Cornell University)|Oct 9, 2018

Speech and Audio Processing参考文献 18被引用数 15

ひとこと要約

TRAMP は、Eigenmike アレイを用いたリアルタイムで FOA ベースのパーティクルフィルタリングシステムを提案し、複数音源の局所化と追跡を実現する。一階のアンビソニクス（FOA）からの擬似強度を活用し、動的ソース割り当てに適応したパーティクルフィルタリングを採用することで、特に単一ソース追跡において競争力ある性能を達成。LOCATA 開発データセット上で、タスク1では平均方位誤差 6.19°（標準偏差 1.18°）、タスク3では 15.05° を記録した。

ABSTRACT

This article presents a multiple sound source localization and tracking system, fed by the Eigenmike array. The First Order Ambisonics (FOA) format is used to build a pseudointensity-based spherical histogram, from which the source position estimates are deduced. These instantaneous estimates are processed by a wellknown tracking system relying on a set of particle filters. While the novelty within localization and tracking is incremental, the fully-functional, complete and real-time running system based on these algorithms is proposed for the first time. As such, it could serve as an additional baseline method of the LOCATA challenge.

研究の動機と目的

• 騒音が強く動的変化する環境下におけるリアルタイムで複数音源の局所化と追跡の課題に対処すること。特にスマートスピーカー用途に特に関連する。
• 標準的なマイクロホンアレイ出力のみを用いて、効率的な局所化と追跡を可能にする、First Order Ambisonics (FOA) ベースのロバストでアレイに依存しないシステムの開発。
• IEEE-AASP LOCATA チャレンジ用に完全に機能するリアルタイムベースライン手法を提供し、既存の MUSIC/Kalman に基づく手法と補完的役割を果たす。
• 追跡対象ソース数と観測数を制限することで、計算の実行可能性とスケーラビリティを確保しつつ、追跡の継続性を維持し、誤検出を低減する。

提案手法

• Eigenmike アレイからの生のマルチチャンネルマイク信号を、事前計算済みの球面調和関数および等化行列を用いて First Order Ambisonics (FOA) 形式に変換する。
• 短時間フーリエ変換（STFT）を用いて FOA 成分から擬似強度ベクトルを計算し、瞬時の音源方向を推定する。近似式 $\hat{\mathbf{I}}(\omega) \propto \Re(W^*(\omega) \cdot [X(\omega), Y(\omega), Z(\omega)]^T)$ を用いる。
• 各時間フレームにおける候補音源方向を特定するため、球面的な擬似強度ヒストグラムを構築し、追跡モジュールの観測として利用する。
• Valin らに基づく修正版パーティクルフィルタリングフレームワークを適用し、観測を恒久的なソーストラックに割り当てる。運動モデルと空間的近接性および強度に基づく尤度を用いる。
• 未割り当てのソースの存在確率を 1 フレームあたり 5% 減少させるヒューリスティックを組み込み、一時的なノイズに対する耐性を高める。
• リアルタイム性能を確保するため、追跡対象ソース数（$S_{\text{max}} = 4$）と観測数（$Q_{\text{max}} = 4$）を制限し、単一スレッドの Python 実装で実行可能とする。

実験結果

リサーチクエスチョン

• RQ1 生の Eigenmike アレイのみを用いて、リアルタイムで FOA ベースのパーティクルフィルタリングシステムが、信頼性のある複数音源の局所化と追跡を達成できるか？
• RQ2 擬似強度に基づく局所化手法の性能は、動的で複数音源が存在する音響環境下で、MUSIC ような既存手法と比較してどの程度優れるか？
• RQ3 ソースの交差や非定常信号が発生する状況下でも、パーティクルフィルタリングフレームワークがトラックの継続性をどの程度維持し、誤検出をどの程度低減できるか？
• RQ4 事前にソース数や運動モデルを知らされていない状況下で、単一ソース対比複数ソース、静止対比移動ソースといったさまざまなシナリオにおいて、システムの性能はどの程度か？
• RQ5 時間平均方位誤差にハンガリアン割当を適用する評価指標が、複数移動音源のような複雑なタスクにおいて、性能解釈にどのような影響を及ぼすか？

主な発見

• TRAMP は、タスク1（単一静止音源）において平均方位誤差 6.19°（標準偏差 1.18°）を達成し、LOCATA チャレンジで報告されたベースラインを上回った。
• タスク2（複数静止音源）では、平均方位誤差が 6.88° で標準偏差が 5.23° と高く、録音ごとの性能のばらつきが顕著に現れた。
• タスク3（単一移動話者）では、平均方位誤差が 15.05° に上昇し、現在の設定下で動的ソースを追跡する難易度が顕在化した。
• タスク4（複数移動話者）では、平均方位誤差が 11.97° であり、複雑さが増しているにもかかわらずタスク3より低かった。これは、評価指標が短いトラックにバイアスをもつ可能性を示唆している。
• 結果から、TRAMP は特に単一ソースシナリオにおいて MUSIC/Kalman ベースラインと比較して優れた性能を示すが、評価指標が複雑なケースでは性能を低く評価する可能性があることが示された。
• 本手法は、単一スレッドの Python 実装でも計算効率が高く、リアルタイム動作が可能であり、並列化の余地も有する。また、確率的トラック管理により、ソース交差や一時的ノイズに対してもロバストである。