[論文レビュー] Structured Sparsity Models for Multiparty Speech Recovery from Reverberant Recordings

Afsaneh Asaei, Mohammad Golbabaee+2 more|arXiv (Cornell University)|Oct 25, 2012

Speech and Audio Processing参考文献 35被引用数 5

ひとこと要約

本稿では、空間的・スペクトル的・音響的構造を活用することで、混响環境下におけるマルチパーティーソクラップション回復のための構造的スパarsityモデルを提案する。仮想音源像のブロックスパース回復を用いて部屋の幾何構造と吸収係数を推定し、構造的スパース近似と逆フィルタリングにより正確な音声分離と認識を実現する。実データ実験では、3人の話者条件下で最高79.2%の語認識率を達成した。

ABSTRACT

We tackle the multi-party speech recovery problem through modeling the acoustic of the reverberant chambers. Our approach exploits structured sparsity models to perform room modeling and speech recovery. We propose a scheme for characterizing the room acoustic from the unknown competing speech sources relying on localization of the early images of the speakers by sparse approximation of the spatial spectra of the virtual sources in a free-space model. The images are then clustered exploiting the low-rank structure of the spectro-temporal components belonging to each source. This enables us to identify the early support of the room impulse response function and its unique map to the room geometry. To further tackle the ambiguity of the reflection ratios, we propose a novel formulation of the reverberation model and estimate the absorption coefficients through a convex optimization exploiting joint sparsity model formulated upon spatio-spectral sparsity of concurrent speech representation. The acoustic parameters are then incorporated for separating individual speech signals through either structured sparse recovery or inverse filtering the acoustic channels. The experiments conducted on real data recordings demonstrate the effectiveness of the proposed approach for multi-party speech recovery and recognition.

研究の動機と目的

• 直接音路信号が初期反射により隠蔽されるマルチパーティーソクラップションの混響録音からの個々の音声信号の回復という課題に対処すること。
• 自由空間モデルにおける空間スペクトルのスパース近似を用いて、仮想音源の局在化により部屋の音響をモデル化すること。
• スペクトロテンポラル成分における低ランク構造を活用して、各話者の画像をクラスタリングし、部屋の幾何構造を推定すること。
• 周波数帯域間の共同スパarsityを用いた凸最適化により、吸収係数を推定すること。
• 推定された音響パラメータを構造的スパース回復または逆フィルタリングに統合することで、ロバストな音声分離と認識を実現すること。

提案手法

• 部屋をセルのグリッドに離散化し、N人の話者に対して非ゼロ成分がN個のみのスパースベクトルとして音源位置をモデル化する。
• マルチチャネル録音の空間スペクトルに基づき、自由空間モデルにおける仮想音源の局在化にスパース近似を用いる。
• 各話者の初期画像を、そのスペクトロテンポラル成分における低ランク構造を用いてクラスタリングし、話者固有の部分空間を特定する。
• 周波数帯域間の共同スパarsityモデルを定式化し、凸最適化により吸収係数を推定する。
• 推定された部屋インパルス応答の構造的スパース回復または逆フィルタリングにより、個々の音声信号を再構築する。
• スペクトル係数における調波性と時間的依存性を組み込むことで、回復性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 空間的およびスペクトル的構造を活用することで、構造的スパarsityモデルはマルチパーティーソクラップションの混響環境下での音声信号回復に有効に機能するか？
• RQ2 スパース近似を用いて初期仮想音源像の局在化から、どのように部屋の幾何構造を推定できるか？
• RQ3 周波数帯域間の共同スパarsityは、混響部屋における吸収係数推定をどの程度向上させるか？
• RQ4 構造的スパース回復または音響チャネルの逆フィルタリングは、従来のビームフォーミングに比べ、マルチスプーカー環境で優れた性能を示すか？
• RQ5 調波性や低ランクスペクトロテンポラル成分といったパラメトリック構造は、音声回復性能をどの程度向上させるか？

主な発見

• 提案されたRAM-SR手法は、3人の同時話者条件下で79.21%の語認識率を達成し、ベースラインのビームフォーミング（39.92%）およびRIR-LS（70.88%）を顕著に上回った。
• 3人話者条件下では、RAM-SRでSIRが14.2 dBに達したのに対し、RIR-LSは10.1 dB、ベースラインは-0.7 dBであった。
• 音声品質の主観評価（PESQ）スコアは、RAM-SRで3人話者条件下で2.62に向上したのに対し、ベースラインでは1.6であった。
• MONCコーパスの9,000件の発話から、1周波数あたり4 Hzの分解能で各壁の周波数依存吸収係数を正確に推定できた。
• ブロックスパース回復と低ランククラスタリングの統合により、正確な部屋の幾何構造推定と音声分離性能の向上が実現した。
• 実験により、空間的・スペクトル的・音響的制約を統合した構造的スパarsityモデルが、実際の混響録音における音声回復性能を顕著に向上させることを確認した。