[論文レビュー] dEchorate: a Calibrated Room Impulse Response Database for Echo-aware Signal Processing

Diego Di Carlo, Pinchas Tandeitnik+4 more|arXiv (Cornell University)|Apr 27, 2021

Speech and Audio Processing参考文献 61被引用数 4

ひとこと要約

dEchorate は、立方体部屋における壁構成の変化に応じて、早期エコーの到着時刻および音源、マイク、イメージソースの3次元位置を正確にアノテートしたキャリブレート済みマルチチャネル室内インパルス応答（RIR）データベースである。このデータベースは、エコーを考慮した信号処理手法のベンチマーク評価を可能にし、4つの音源を用いた部屋の幾何構造推定において平均距離誤差1.15 cm、角度誤差2.6°を達成し、エコーに基づく音声処理タスクにおいて高い精度を示している。

ABSTRACT

This paper presents dEchorate: a new database of measured multichannel Room Impulse Responses (RIRs) including annotations of early echo timings and 3D positions of microphones, real sources and image sources under different wall configurations in a cuboid room. These data provide a tool for benchmarking recent methods in echo-aware speech enhancement, room geometry estimation, RIR estimation, acoustic echo retrieval, microphone calibration, echo labeling and reflectors estimation. The database is accompanied with software utilities to easily access, manipulate and visualize the data as well as baseline methods for echo-related tasks.

研究の動機と目的

• エコーを考慮した音声信号処理のための、公開可能で高精度にキャリブレートされたRIRデータベースを提供し、エコーの到着時刻および空間的位置を正確にアノテートすること。
• 現実的な条件下で、音響的エコー回収（AER）、部屋の幾何構造推定（RooGE）、音声強調（SE）の手法のベンチマーク評価を支援すること。
• RT60、SNR、表面反射率、早期エコー密度の変動に対する耐性の検証を可能にすること。
• 実測データを用いたマイクキャリブレーション、反射体推定、エコーラベル付けに関する研究を促進すること。

提案手法

• 本データベースは、11のマイク位置と6つの音源位置を備えた制御された立方体部屋で記録され、キャリブレート済みトランスデューサーと正確な3次元位置決めが用いられた。
• 早期エコーは、イメージソース法（ISM）を用いてアノテートされ、実際の反射体に対する仮想音源位置に到着時刻（TOA）を関連付けた。
• 壁の吸収率や反射率の異なる設定を含み、1,800件のRIRが収録されており、音源、マイク、壁の位置に関する正確なメタデータを備えている。
• データのアクセス、可視化、操作が可能なソフトウェアツールキットが開発され、AERおよびRooGEタスクのベースライン実装も含まれている。
• RIRは、信号対雑音比を高くし、インパルス応答の推定を高精度に行うために、指数的スイープ正弦（ESS）信号を用いて測定された。
• エコーのアノテーション外れは、指向性の影響、遠方仮定の違反、重複する反射の影響によって特定された。

実験結果

リサーチクエスチョン

• RQ1 実世界のRIRにアノテートされた早期エコーを用いた場合、エコーを考慮した信号処理手法は、部屋の幾何構造をどの程度正確に推定できるか？
• RQ2 シミュレーションと実際のRIRの不一致が、学習ベースの音声処理モデルの性能にどの程度影響を及えるか？
• RQ3 低エネルギーの反射、重複するエコー、指向性の影響が存在する状況でも、頑健なエコーラベル付けが可能か？
• RQ4 表面吸収率、RT60、マイクと音源の距離の変化が、エコーに基づく処理の信頼性にどのように影響するか？
• RQ5 ドメイン適応やスタイル変換技術を用いて、シミュレーションRIRから実RIRへのマッピングを学習できるか？

主な発見

• 4つの音源のデータを用いた部屋の幾何構造推定パイプラインは、平均距離誤差（DE）1.15 cm、角度誤差（AE）2.6°を達成し、高い精度を示した。
• 1,800件のRIRのうち、2件のエコーラベル外れが観測されたが、両者とも音源の指向性による第1次反射の誤アノテートが原因であった。
• データセットは、音源の後方にある第1次反射がRIRにあまり現れないほど弱いため、第2次イメージが誤って選択されることがあることを明らかにした。
• マイクやスピーカーの長時間インパルス応答に起因する遅延リバーブスパイクが、一部のケースでエコー成分の誤分類を引き起こした。
• RT60、SNR、エコー密度の変動にわたる頑健なベンチマーク評価が可能であり、手法の耐性評価が可能である。
• シミュレーション済みと実測RIRのペアの存在は、学習ベースの音響シミュレータのためのドメイン適応技術の開発に道を開く。