[論文レビュー] NICE-Beam: Neural Integrated Covariance Estimators for Time-Varying Beamformers

Jonah Casebeer, Jacob Donley+3 more|arXiv (Cornell University)|Dec 8, 2021

Speech and Audio Processing被引用数 7

ひとこと要約

NICE-Beam は、可動マイクロホンアレイにおける時間変動する空間統計を追跡するための再帰的ニューラルネットワーク（RNN）を用いたニューラル共分散推定器を提案する。この手法は、音声強調とリバーブ除去を統合したビームフォーミングパイプラインと統合され、エンドツーエンドでリアルタイムに学習可能であり、ポーズの変化に対してもロバストな非線形ダイナミクスを学習することで、手動チューニングされた推定器でさえも上回る性能を達成する。

ABSTRACT

Estimating a time-varying spatial covariance matrix for a beamforming algorithm is a challenging task, especially for wearable devices, as the algorithm must compensate for time-varying signal statistics due to rapid pose-changes. In this paper, we propose Neural Integrated Covariance Estimators for Beamformers, NICE-Beam. NICE-Beam is a general technique for learning how to estimate time-varying spatial covariance matrices, which we apply to joint speech enhancement and dereverberation. It is based on training a neural network module to non-linearly track and leverage scene information across time. We integrate our solution into a beamforming pipeline, which enables simple training, faster than real-time inference, and a variety of test-time adaptation options. We evaluate the proposed model against a suite of baselines in scenes with both stationary and moving microphones. Our results show that the proposed method can outperform a hand-tuned estimator, despite the hand-tuned estimator using oracle source separation knowledge.

研究の動機と目的

• 可動マイクロホンアレイにおける時間変動する空間共分散行列の推定という課題に取り組むこと。特に、急激なポーズ変化が生じる状況を想定する。
• 時間的および空間的情報を統合できる学習可能な非線形共分散推定器を開発し、ビームフォーミング性能の向上を図ること。
• 共分散行列の逆行列計算に起因する数値的不安定性を回避しつつ、ビームフォーミングパイプラインのエンドツーエンド学習を可能にすること。
• ウェアラブルデバイスに適した低計算コストで、リアルタイムかつテスト時における適合性を備えた推論を実現すること。
• 動的かつ空間的に変化する環境下で、従来の手動チューニングされた共分散推定器を上回ることの妥当性を示すこと。

提案手法

• 再帰的ニューラルネットワーク（RNN）を用いて、共分散行列の逆行列を直接推定することで、行列の逆行列計算に起因する数値的不安定性を回避する。
• 推定器はマルチチャネルのSTFT特徴量を処理し、時間経過に伴うポーズ情報やシーン情報を取り込み、動的空間統計をモデル化する。
• 本手法は、単一チャネル強調器と、音声および雑音のための別々の共分散推定値を用いるビームフォーマーを組み合わせたハイブリッド DNN-DSP ビームフォーミングパイプラインに統合されている。
• 音声品質とリバーブ除去を最適化する微分可能損失関数を用いて、エンドツーエンドでネットワークを学習する。
• 再訓練なしに、マスキング、レイテンシ、解像度を変更することで、テスト時における適合性が可能である。
• 従来の線形平均化手法とは異なり、ポーズ変化に迅速に適応できる時間変動型空間共分散モデルを活用する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの共分散推定器は、時間変動する環境かつポーズ変化が生じる状況下で、手動チューニングされた非学習ベースの推定器を上回ることができるか？
• RQ2 RNN を用いたニューラル共分散推定器は、時間経過に伴う動的空間統計をどれほど正確に追跡できるか？
• RQ3 共分散行列の代わりに逆共分散行列を扱うことで、ビームフォーミングパイプラインのエンドツーエンド学習が、従来の方法よりも安定化できるか？
• RQ4 学習された推定器は、さまざまな運動プロファイルやアレイ構成にわたってどれほど一般化できるか？
• RQ5 モジュラーかつテスト時適合性を持つアーキテクチャのおかげで、ハードウェア障害や部分的信号損失に対しても性能を維持できるか？

主な発見

• NICE-Beam は、静止時および移動時両方のマイクロホンアレイシナリオにおいて、オラクル音声分離の知識を有する手動チューニング推定器ですらも上回る性能を達成した。
• 低計算コストでありながら、リアルタイムを上回る推論速度を達成しており、ウェアラブルアプリケーションに適している。
• モジュラーかつテスト時適合性を持つアーキテクチャのおかげで、ハードウェア障害に対しても耐性があることが示された。
• シーン情報やポーズ情報がニューラル推定器に追加で供給されると性能が向上したため、文脈的情報を効果的に活用できる能力があることが示された。
• エンドツーエンド学習スキームにより、従来のビームフォーミングパイプラインで一般的に見られる数値的不安定性の問題を効果的に回避できた。
• 多様な運動プロファイルにわたって良好な一般化性能を示し、主観的および客観的な音声品質指標の両方で高い性能を維持した。