[論文レビュー] Uncalibrated 3D Room Reconstruction from Sound

Marco Crocco, Andrea Trucco+1 more|arXiv (Cornell University)|Jun 20, 2016

Speech and Audio Processing参考文献 20被引用数 5

ひとこと要約

本論文は、エコーのラベル付け問題を回避するため、3次元グリッド上の貪欲な反復的探索によって壁の推定を分離し、その後にグローバル非線形最小二乗最適化を適用することで、完全にキャリブレーションなしの音声からの3次元部屋再構築手法を提示する。本手法は、シミュレーションおよび実世界の状況の両方で高い精度を達成し、信号対雑音比（SNR）が低く、データ欠損がある状況下でも、音源位置の平均再構築誤差が31mm、マイクロホン位置が22mmにとどまる。

ABSTRACT

This paper presents a method to reconstruct the 3D structure of generic convex rooms from sound signals. Differently from most of the previous approaches, the method is fully uncalibrated in the sense that no knowledge about the microphones and sources position is needed. Moreover, we demonstrate that it is possible to bypass the well known echo labeling problem, allowing to reconstruct the room shape in a reasonable computation time without the need of additional hypotheses on the echoes order of arrival. Finally, the method is intrinsically robust to outliers and missing data in the echoes detection, allowing to work also in low SNR conditions. The proposed pipeline formalises the problem in different steps such as time of arrival estimation, microphones and sources localization and walls estimation. After providing a solution to these different problems we present a global optimization approach that links together all the problems in a single optimization function. The accuracy and robustness of the method is assessed on a wide set of simulated setups and in a challenging real scenario. Moreover we make freely available for a challenging dataset for 3D room reconstruction with accurate ground truth in a real scenario.

研究の動機と目的

• マイクロホンおよび音源の位置に関する事前知識なしに、音声からの3次元部屋再構築を可能にすること。
• エコーの到着順序に関する仮定を必要とする一般的な問題であるエコーのラベル付け問題を、ピークから表面への対応付けとは独立して壁の推定を実行することで回避すること。
• 低SNRおよびデータ欠損状況下でも動作可能な、ロバストで計算的に実行可能な手法を開発すること。
• マイクロホン位置、音源位置、壁の平面、発音時刻を一度の微分可能なコスト関数に統合したグローバル最適化ソリューションを提供すること。
• ベンチマーク用に正確な真値を備えた新しい実世界データセットを用いて、手法の妥当性を検証すること。

提案手法

• 信号のピークを抽出するために、マッチドフィルタリングを用いて直接音および反射音の到達時間（TOF）を推定する。
• 直接音のTOFに基づき、行列分解を用いた反復的手法を用いて、初期のマイクロホンおよび音源位置を推定する。
• 各平面的表面について、3次元に離散化されたグリッド上で貪欲に反復的に壁の推定を実行し、エコーのラベル付けを回避するロバストなコスト関数を用いる。
• 2次反射を一時的に除外することで依存関係を軽減し、事前にマッチング済みのピークを除外することで、以降の探索を簡素化する。
• エコーのラベル付けが解決された後、マイクロホン位置、音源位置、壁の平面、発音時刻のすべての変数に対して、グローバル非線形最小二乗最適化を適用する。
• 欠落または誤検出されたピークにも耐えうるロバストなコスト関数を採用し、低SNR環境下での性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 マイクロホンおよび音源の位置に関する事前知識なしに、音声からの3次元部屋幾何構造を再構築することは可能か？
• RQ2 エコーの到着順序に関する仮定なしに、3次元部屋再構築におけるエコーのラベル付け問題を回避することは可能か？
• RQ3 実世界の音響信号に適した、完全にキャリブレーションなしで、ロバストかつ効率的な3次元部屋再構築パイプラインをどのように設計できるか？
• RQ4 低SNRおよびデータ欠損状況下で、このような手法の達成可能な精度はどの程度か？
• RQ5 グローバル最適化ソリューションは、初期のグリッドベース推定と比較して再構築精度を向上させることができるか？

主な発見

• 実世界の実験において、音源位置の平均再構築誤差が31mm、マイクロホン位置が22mmにとどまり、モデルの仮定にもかかわらず高い精度を示した。
• 天井面は最大の誤差を示し（初期推定で1824mm、最適化後で1795mm）、部屋の非平面的でアーチ型の構造が原因であるとされた。
• 天井を除くと、推定された平面法線と真値との間の角度誤差は0.43°から2.98°の範囲にあり、最適化後の距離誤差は1mmから62mmの範囲にとどまった。
• グローバル最適化ステップにより、初期グリッド探索からの精度が著しく向上し、角度誤差は最大50%、距離誤差は平均で最大50%まで低減された。
• ロバストなコスト関数のおかげで、低SNRおよびデータ欠損状況下でもロバストに動作し、不完全なピーク検出状況下でも信頼性の高い性能を発揮した。
• 正確な真値を備えた新しい実世界データセットを公開し、今後のキャリブレーションなしの音声からの3次元部屋再構築研究のベンチマークを提供した。