[論文レビュー] Multi-channel Time-Varying Covariance Matrix Model for Late Reverberation Reduction

Masahito Togami|arXiv (Cornell University)|Oct 19, 2019

Speech and Audio Processing参考文献 29被引用数 6

ひとこと要約

本稿では、後期混浊の低減のための多チャネル時変共分散行列モデルを提案する。後期混浊の分散を、音声源の分散と音響伝達関数（ATF）の時不変多チャネル共分散行列との畳み込みとしてモデル化する。この手法は、時変音響環境下でも高いロバスト性を示し、特に動的環境下で優れた無混浊性能を達成する。拡張入力モデル（PROPOSED 2）は、FWSegSNR や PESQ といった主要指標において、すべてのベースラインを上回る性能を発揮した。

ABSTRACT

In this paper, a multi-channel time-varying covariance matrix model for late reverberation reduction is proposed. Reflecting that variance of the late reverberation is time-varying and it depends on past speech source variance, the proposed model is defined as convolution of a speech source variance with a multi-channel time-invariant covariance matrix of late reverberation. The multi-channel time-invariant covariance matrix can be interpreted as a covariance matrix of a multi-channel acoustic transfer function (ATF). An advantageous point of the covariance matrix model against a deterministic ATF model is that the covariance matrix model is robust against fluctuation of the ATF. We propose two covariance matrix models. The first model is a covariance matrix model of late reverberation in the original microphone input signal. The second one is a covariance matrix model of late reverberation in an extended microphone input signal which includes not only current microphone input signal but also past microphone input signal. The second one considers correlation between the current microphone input signal and the past microphone input signal. Experimental results show that the proposed method effectively reduces reverberation especially in a time-varying ATF scenario and the second model is shown to be more effective than the first model.

研究の動機と目的

• 時変条件下でも不安定になりがちな多チャネル音声無混浊における音響伝達関数（ATF）推定の問題を解決すること。
• 決定論的ATFモデルの限界を克服するため、ATFの変動に強い確率的共分散行列モデルを導入すること。
• 単一チャネル非負の畳み込み型伝達関数（N-CTF）モデルを多チャネルフレームワークに拡張し、空間的ダイバーシティを活用すること。
• 現在のマイク信号の共分散行列と、過去の入力を含む拡張信号を用いた2つの共分散行列モデルを開発すること。
• 従来手法（WPE や N-CTF）が性能を低下させる時変ATF状況下での無混浊性能を向上させること。

提案手法

• 後期混浊の共分散行列を、N-CTFを介した音声源分散と、音響伝達関数（ATF）を表す時不変多チャネル共分散行列との畳み込みとしてモデル化する。
• 2つのモデルを定義する：(1) 現在のマイク入力における後期混浊の共分散行列、(2) 過去のマイク信号を組み込んだモデルで、現在の信号との相互相関を捉える。
• コスト関数の単調減少を保証するため、補助関数に基づく最適化手法を用いる。これは多チャネル非負行列因子分解（MNMF）と類似した手法である。
• 多チャネル共分散行列をATFの空間的表現とみなすことにより、時変条件下でも安定した推定が可能になる。
• 変分ベイズ的アプローチを用いてパラメータを最適化し、ATFと音声源の同時推定を回避する。
• 時変共分散モデルを既存の無混浊フレームワークに統合し、今後の研究で平均ベクトルモデルの統合を検討する可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 ATFが時間とともに変化する動的音響環境下で、時変多チャネル共分散行列モデルは後期混浊を効果的に低減できるか？
• RQ2 過去のマイク信号を共分散モデルに組み込むことで、現在の信号のみを用いた場合に比べ、無混浊性能がどのように向上するか？
• RQ3 提案された共分散行列モデルは、決定論的ATFモデルや単一チャネルN-CTF手法と比較して、ATFの変動にさらなるロバスト性を示せるか？
• RQ4 時間的相関を捉えるために過去の入力を含む拡張マイク入力信号モデルは、元のモデルと比較して、無混浊性能をどの程度向上させるか？
• RQ5 WPE や N-CTF、KEMD、VB-MSD といった最先端手法と比較して、本手法は時不変および時変ATF状況下の両方で優れた性能を達成できるか？

主な発見

• 提案手法は、時変ATF状況下でベースライン手法を顕著に上回り、FWSegSNR 12.36 dB、PESQ 1.72 を達成した。これは TIV の 10.74 dB と 1.42 に比べ顕著な向上である。
• PROPOSED 2（過去信号を含む拡張モデル）は、すべての指標で最高の性能を示し、時不変状況下で FWSegSNR 12.92 dB、PESQ 1.91 を達成した。
• 時変共分散行列モデル（PROPOSED 1 および 2）は、時不変共分散行列のみを用いる TIV よりも一貫して優れた性能を示し、動的条件下での有効性を裏付けた。
• 時変ATF状況下では、PROPOSED 2 が次善の手法（VB-MSD）よりも FWSegSNR で 1.62 dB 向上、PESQ で 0.30 の向上を達成した。
• 拡張モデル（PROPOSED 2）は、スペクトルエンVELOP推定の精度を高め、ケプストラム距離（CD）を 3.40 dB まで低減し、全手法中最も低い値を記録した。
• 本手法はATFの変動に強く、ATFが時間とともに変化する状況下でも一貫した性能向上を示した。一方、WPE や N-CTF は顕著に性能が低下した。