[論文レビュー] Dereverberation using joint estimation of dry speech signal and acoustic system

Sanna Wager, Keunwoo Choi+1 more|arXiv (Cornell University)|Jul 24, 2020

Speech and Audio Processing被引用数 4

ひとこと要約

本論文は、周波数時間スペクトログ램のマグニチュード表現を用いて、混响入力からドライ音声信号と部屋インパルス応答（RIR）を同時に推定する共同ディーブラーニングフレームワークを提案する。この手法は、ドライ音声推定にU-Netを、RIR推定に畳み込みモデルを組み合わせ、共有学習目的関数により独立したモデルよりも精度を向上させる。ドライ音声タスクでは最先端の性能を達成したが、RIR推定の精度に限界があることが判明し、今後のフェーズに依存するモデルや逐次的モデリング手法の導入が促された。

ABSTRACT

The purpose of speech dereverberation is to remove quality-degrading effects of a time-invariant impulse response filter from the signal. In this report, we describe an approach to speech dereverberation that involves joint estimation of the dry speech signal and of the room impulse response. We explore deep learning models that apply to each task separately, and how these can be combined in a joint model with shared parameters.

研究の動機と目的

• 非理想的な音響環境下で混響が音声品質を低下させる単一チャネル音声デリバーバーションの課題に対処すること。
• 従来の逆フィルタリングやマスキングベースの手法が独立性や短時間効果を仮定するという制限を克服すること。
• 共有ディープラーニングパラメータを用いて、ドライ音声信号と部屋インパルス応答（RIR）を共同で推定することで性能を向上させること。
• ドライ音声とRIRを別々に推定するのではなく、ペアドトレーニングデータ（ドライ音声、RIR、およびそれらの畳み込みによる混響出力）を用いて共同モデリングが性能を向上させるかを検討すること。

提案手法

• 入力として混響音声のマグニチュードSTFT表現を用い、各STFTフレームに対して正規化を適用する。
• ドライ音声信号の直接推定にU-Netアーキテクチャを採用し、混響入力からマグニチュードスペクトログラムを予測するように学習する。
• 別個の畳み込みニューラルネットワーク（CNN）を設計し、時間周波数グリッドに沿って1次元畳み込み構造を適用してインパルス応答の形状を予測するRIR推定に用いる。
• ドライ音声、RIR、およびそれらの畳み込みによる対応する混響信号を生成するペアドデータを用いて、教師あり学習でモデルを訓練する。
• 共同学習フレームワークは、2つのタスク間でパラメータを共有できるように設計されており、汎化性能と相互の性能向上を目的としている。
• 今後の課題として、位相情報の統合や、RIRの時間的ダイナミクスをよりよく捉えるためにLSTMやCRNNなどの逐次的モデルの導入を検討する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングによるドライ音声信号と部屋インパルス応答（RIR）の共同推定は、それぞれを別々に推定する手法を上回る性能を発揮できるか？
• RQ2 共同モデルにおける共有パラメータの導入により、独立したモデルと比較して音声デリバーバーションの精度がどの程度向上するか？
• RQ3 標準的な畳み込みモデルが、初期に鋭いインパルスが現れ、その後急激に減衰するRIRを正確に推定できないのはなぜか？
• RQ4 位相情報や逐次的モデリングを組み込むことで、U-Netベースの直接的音声推定法はどの程度改善できるか？
• RQ5 時間領域または複素数STFT表現は、マグニチュードのみのSTFT入力に比べてRIR推定をどの程度向上させられるか？

主な発見

• U-Netモデルは、混響入力からの直接的ドライ音声推定において、完全結合層やBi-GRUアーキテクチャを上回る最先端の性能を達成した。
• Bi-GRUモデルは逐次的モデリングの能力を有するが、著しいアーチファクトを生じさせ、実用的ではないと判断された。
• RIR推定のための畳み込みモデルは、正しい減衰エンベロープを生成したが、初期の鋭いインパルスを正確に捉えることができず、アーキテクチャ上の制限が顕在化した。
• 標準的なCNNでは、エネルギーを小さな時間窓に集中させる必要があるRIR推定が本質的に困難であり、典型的なDNN活性化関数ではその構造をうまく捉えられない。
• 著者らは、位相情報と逐次的モデリング（例：LSTMやCRNN）がRIR推定の向上に鍵を握ると特定し、今後の研究でこれらを検討する計画である。
• RIRを類似度でグループ化し、グループサイズを制限するデータ準備により、バランスの取れた代表的なトレーニング・検証・テストセットを維持できた。