[論文レビュー] Libri-adhoc40: A dataset collected from synchronized ad-hoc microphone arrays

Shanzheng Guan, Shupei Liu+9 more|arXiv (Cornell University)|Mar 28, 2021

Speech and Audio Processing参考文献 21被引用数 8

ひとこと要約

本論文では、オフィス環境における40台の分散配置で時刻同期されたマイクロホンノードから記録された、実世界の音声コーパス「Libri-adhoc40」を紹介する。このコーパスは、ライブラリスピークのデータを loudspeakers を通じて再生することで構築され、アドホックマイクロホンアレイシステムのベンチマークを可能にする。チャネル数の増加と学習されたチャネル選択（例：Scaling Sparsemax）を用いることで、WERSを顕著に低減できることを示しており、40チャネルで実データを用いた学習を行うと、オラクル手法に比べて相対的に19.6%のWERS低減が達成された。

ABSTRACT

Recently, there is a research trend on ad-hoc microphone arrays. However, most research was conducted on simulated data. Although some data sets were collected with a small number of distributed devices, they were not synchronized which hinders the fundamental theoretical research to ad-hoc microphone arrays. To address this issue, this paper presents a synchronized speech corpus, named Libri-adhoc40, which collects the replayed Librispeech data from loudspeakers by ad-hoc microphone arrays of 40 strongly synchronized distributed nodes in a real office environment. Besides, to provide the evaluation target for speech frontend processing and other applications, we also recorded the replayed speech in an anechoic chamber. We trained several multi-device speech recognition systems on both the Libri-adhoc40 dataset and a simulated dataset. Experimental results demonstrate the validness of the proposed corpus which can be used as a benchmark to reflect the trend and difference of the models with different ad-hoc microphone arrays. The dataset is online available at https://github.com/ISmallFish/Libri-adhoc40.

研究の動機と目的

• アドホックマイクロホンアレイのための時刻同期された実世界データセットが不足している現状を是正し、分散音声処理に関する基礎的研究を促進すること。
• マイクロホンアレイ構成や空間的配置に起因する実世界の性能差を反映したベンチマークデータセットを提供すること。
• リアルな大規模アドホックマイクロホンアレイ環境下での音声フロントエンド処理、認識、強調、分離の評価を可能にすること。
• 同期化技術に関する研究を支援するため、同期済みおよび非同期のテストシナリオを提供すること。

提案手法

• データセットは、実際のオフィス環境で40台の時刻同期された分散マイクロホンを用いて収録され、ライブラリスピークの「train-clean-100」、「dev-clean」、「test-clean」サブセットを loudspeakers を通じて再生した。
• ハードウェアおよびソフトウェアによるタイミング同期により、信号伝搬遅延情報を保持し、フレームドロップやクロックドリフト補正を回避した。
• 音声処理評価のためのクリアな参照ターゲットとして、別途アネクソイック・チャンバで記録されたデータを収集した。
• データセットは合計4,510時間分のデータを含み、1台あたり110時間分のデータを有し、マイクロホンからの距離や向きが異なる複数の loudspeaker 位置を設定して、さまざまな音源-マイクロホン距離と方向性を模擬した。
• ベースライン音声認識実験として、シミュレーテッドデータおよび実際の Libri-adhoc40 データで学習したコンフォーマー基盤の ASR モデルを用い、異なるチャネル構成でのテストセットでの評価を実施した。
• 動的環境下でのインテリジェントなマイクロホン選択の利点を評価するため、チャネル選択戦略（例：Scaling Sparsemax）を評価した。

実験結果

リサーチクエスチョン

• RQ1 実世界のアドホックアレイにおいて、時刻同期されたマイクロホン数が増加するにつれて、マルチデバイス ASR システムの性能はどのように変化するか？
• RQ2 学習されたチャネル選択戦略は、実世界のアドホックマイクロホンアレイ環境において、オラクルの最良1チャンネル選択を上回る性能を示せるか、その程度はどの程度か？
• RQ3 マイクロホンアレイの幾何配置やスピーカーの向きは、遠音場で分散配置されたマイクロホンセットにおいて音声認識性能にどのように影響するか？
• RQ4 実世界の時刻同期データ（Libri-adhoc40）は、ASR以外の処理、例えばドリバーブレーションや分離処理の評価にも信頼できるベンチマークとして機能できるか？
• RQ5 シミュレーテッドデータではなく、実際の同期データで学習した場合、実世界のテスト環境への一般化性能はどのように向上するか？

主な発見

• 実データで学習した Scaling Sparsemax モデルは、40チャネルでオラクルの最良1チャンネル選択手法に比べ、相対的に19.6%のWERS低減を達成した。これは、インテリジェントなチャネル選択の価値を示している。
• 10チャネルから40チャネルにチャネル数を増加させた場合、実データ学習条件下で Scaling Sparsemax モデルのWERSは相対的に46.6%低減した。これは、より大きなアレイによる性能向上を示している。
• 最も近いマイクロホン位置（pos1）では、実学習モデルの平均WERSは9%であったが、距離が離れているか、向きが悪い位置（pos2, pos3）では、それぞれ25.3%および21.8%に上昇した。これは、アレイの幾何配置と向きに強く依存することを示している。
• Scaling Sparsemax モデルは、不利なスピーカー向きの影響を緩和した。オラクル手法はpos2およびpos3でpos1と比較してWERSが66%上昇したが、Scaling Sparsemaxではその上昇は54%にとどまった。これは、アレイの幾何配置に対して高い耐性を示している。
• 実際の Libri-adhoc40 データで学習したモデルは、シミュレーテッドデータで学習したモデルに比べて一貫して優れた性能を示した。これは、実世界データの重要性が一般化性能に与える影響を確認している。
• クリアなアネクソイック録音と空間的に多様な loudspeaker 信号が利用可能であるため、このデータセットは音声強調、ドリバーブレーション、分離処理の評価を可能にしている。