[論文レビュー] Absolute Geometry Calibration of Distributed Microphone Arrays in an Audio-Visual Sensor Network

Florian Jacob, Reinhold Haeb‐Umbach|arXiv (Cornell University)|Apr 13, 2015

Speech and Audio Processing参考文献 18被引用数 3

ひとこと要約

本稿では、音声と視覚の相関を用いて分散マイクロホンアレイの絶対的幾何校正を行う2つの手法を提案する。具体的には、両モodalティからの方向音響角（DoA）測定値を用いる。最初の手法は、トラジェクトリの整合性を用いて音響センサ位置を視覚座標系にマッピングするものである。2番目の手法は、非線形方程式系を用いて音響センサ位置を同時に最適化するものである。共同校正手法は、高リバーブ環境下でも平均位置決め誤差0.20 mを達成する。

ABSTRACT

Joint audio-visual speaker tracking requires that the locations of microphones and cameras are known and that they are given in a common coordinate system. Sensor self-localization algorithms, however, are usually separately developed for either the acoustic or the visual modality and return their positions in a modality specific coordinate system, often with an unknown rotation, scaling and translation between the two. In this paper we propose two techniques to determine the positions of acoustic sensors in a common coordinate system, based on audio-visual correlates, i.e., events that are localized by both, microphones and cameras separately. The first approach maps the output of an acoustic self-calibration algorithm by estimating rotation, scale and translation to the visual coordinate system, while the second solves a joint system of equations with acoustic and visual directions of arrival as input. The evaluation of the two strategies reveals that joint calibration outperforms the mapping approach and achieves an overall calibration error of 0.20m even in reverberant environments.

研究の動機と目的

• 視覚センサ位置が既知であるが座標系がずれている状況下で、音響センサネットワークのスケールのあいまいさを解消すること。
• 時 clocks 同期や人工的校正信号を必要とせずに、分散マイクロホンアレイの絶対的幾何校正を可能にすること。
• 音声と視覚の相関（両モダリティからの話者方向推定）を活用することで、リバーブ環境下での校正精度を向上させること。
• 座標マッピングと非線形方程式による同時推定という2つの校正戦略を比較すること。
• 異なるリバーブ時間下での性能を評価し、実世界のDoA推定モデルを用いてそのロバスト性を示すこと。

提案手法

• 時間遅延や時間差遅延の同期を必要とせず、音響および視覚センサからの方向音響角（DoA）推定値を入力として用いる。
• 音響と視覚の座標系間の回転、平行移動、スケールを、DoAデータから導出された話者のトラジェクトリを一致させることで推定する座標マッピング手法を採用する。
• 音響および視覚のDoA測定値を組み合わせた非線形方程式系を定式化し、音響センサ位置を同時に推定する共同校正手法を開発する。
• 外れ値を排除することで、不良な測定値へのロバスト性を高めるためにRANSACアルゴリズムを適用する。
• HOGとSVMを用いたAV16.3コロナスの分析に基づき、検出、誤検出、検出漏れの状態を有する隠れマルコフモデル（HMM）を用いて視覚的DoA誤差をシミュレートする。
• フィルタ・アドショナル・ビームフォーマーを用い、時間経過に伴う音響DoA推定を適応フィルタリングで行い、動く話者のリアルタイム追跡を可能にする。

実験結果

リサーチクエスチョン

• RQ1 音声と視覚の相関を用いることで、音響センサネットワークの校正におけるスケールのあいまいさを効果的に解消できるか？
• RQ2 音響および視覚のDoA測定値を併用した共同校正と座標マッピングの両手法を比較した場合、精度およびロバスト性においてどちらが優れるか？
• RQ3 リバーブが音声と視覚センサネットワークにおけるDoAに基づく校正手法の性能に与える影響は何か？
• RQ4 RANSACに基づく外れ値除去は、ノイズの多いDoA推定値が存在する状況で校正精度をどの程度向上させるか？
• RQ5 適切に分散された少数の空間的イベントを用いることで、完全なトラジェクトリに匹敵する校正性能が達成可能か？

主な発見

• 共同校正手法は、すべてのリバーブ時間において座標マッピング手法を上回り、高リバーブ環境（RT60 500 ms）下でも平均位置決め誤差（MPE）が0.20 mにとどまる。
• 座標マッピング手法は顕著なスケール推定誤差を示し、特に低リバーブ時間帯で性能が劣化する。
• スケール要因が既知であるオラクル実験では、低リバーブ環境下で座標マッピング手法が共同手法とほぼ同等の性能を示す。これは、スケール誤差が主な制限要因であることを裏付けている。
• 両手法とも、すべてのリバーブ時間帯でセンサの向きの誤差が2°未満であり、高い角度精度を示している。
• 良好な空間的分布を持つ15件の戦略的選択イベントを用いることで、共同校正手法は完全なトラジェクトリ校正と同等の性能を達成した。これは、イベントの幾何的配置が数の多さよりも重要であることを示している。
• 共同校正手法は、RT60 300 msではMPE 0.14 m、RT60 500 msではMPE 0.23 mを維持し、リバーブに対して高いロバスト性を示している。