[論文レビュー] Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks

Paul Callens, Miloš Cerňak|arXiv (Cornell University)|Oct 21, 2020

Speech and Audio Processing被引用数 5

ひとこと要約

本稿では、音声および音楽信号を用いて訓練された畳み込み再帰ニューラルネットワーク（CRNN）を用いて、部屋の音響パラメータ（RT60、C50、C80、DRR）を同時かつ盲的な推定する手法を提案する。この手法は最先端の性能を達成しており、CRNNはベースラインを上回り、音楽信号を含む同時学習により、音楽が減衰曲線検出において固有の課題を有するものの、音声推定の精度が向上している。

ABSTRACT

Acoustic environment characterization opens doors for sound reproduction innovations, smart EQing, speech enhancement, hearing aids, and forensics. Reverberation time, clarity, and direct-to-reverberant ratio are acoustic parameters that have been defined to describe reverberant environments. They are closely related to speech intelligibility and sound quality. As explained in the ISO3382 standard, they can be derived from a room measurement called the Room Impulse Response (RIR). However, measuring RIRs requires specific equipment and intrusive sound to be played. The recent audio combined with machine learning suggests that one could estimate those parameters blindly using speech or music signals. We follow these advances and propose a robust end-to-end method to achieve blind joint acoustic parameter estimation using speech and/or music signals. Our results indicate that convolutional recurrent neural networks perform best for this task, and including music in training also helps improve inference from speech.

研究の動機と目的

• 専用のインパルス応答測定を必要とせず、エンドツーエンドで鍵となる部屋の音響パラメータを盲的に推定することを目的とする。
• 音楽信号が、特に音声の推定において、推定のロバスト性と精度を向上させるかどうかを調査することを目的とする。
• スペクトル的および逐次的信号特性を両方活用するCRNNアーキテクチャの設計と評価を目的とする。
• 学習データの構成（音声のみ vs. 混在した音声／音楽）が、モデルの一般化性能および推定精度に与える影響を評価することを目的とする。

提案手法

• 本手法は、スペクトル特徴抽出のための畳み込み層と、残響信号内の時間的減衰ダイナミクスをモデル化する再帰層を組み合わせたCRNNアーキテクチャを用いる。
• 音声入力を8秒のセグメントに分割し、モデル入力としてログメルスペクトログラムに変換する。
• 真の音響パラメータ（RT60、C50、C80、DRR）は、ISO 3382基準に従い、125 Hzから4 kHzのオクターブバンドで帯域通過フィルタリングを適用して部屋のインパルス応答（RIR）から計算する。
• モデルは、平均絶対誤差損失を用いて、4つの音響パラメータを同時に予測するエンドツーエンドの学習を実施する。
• データ拡張には、模擬的な残響とノイズを追加し、ロバスト性を向上させる。RT60が4秒を超えるRIRは、高いノイズ汚染が懸念されるため除外される。
• 3つのモデルを評価する：ベースラインの全結合ネットワーク、および2つのCRNNバリアント（CRNN1およびCRNN2）。ハイパーパrameterは広範な実験により調整された。

実験結果

リサーチクエスチョン

• RQ1 畳み込み再帰ニューラルネットワーク（CRNN）は、従来のモデルや純粋に畳み込み型のモデルに比べ、盲的な部屋の音響パラメータ推定において優れた性能を示すか？
• RQ2 学習データに音楽信号を含めることで、音声信号の音響パラメータ推定の精度が向上するか？
• RQ3 モデルの性能は、異なる信号タイプ（音声、音楽、混合）およびノイズ条件においてどのように変化するか？
• RQ4 なぜ音楽は音声に比べて音響パラメータ推定にあまり効果的でないのか。モデル性能に影響を与える信号的特徴は何か？

主な発見

• CRNN1モデルは、音声信号におけるRT60推定で平均絶対誤差（εM）55 msを達成し、ベースライン（65 ms）を上回った。相対誤差（εR）は0.4 dBであった。
• 音声の明瞭度パラメータに関して、CRNN1はC50の誤差を41から42（εM）に、εRを6.7から6.5に改善し、ベースラインより一貫した向上を示した。
• 音声と音楽の混合データを用いた同時学習により、音声推定の性能が向上した。音声・音楽混合で学習したモデルは、音声信号におけるRT60推定でεMが50 msに達し、音声のみで学習したモデル（55 ms）を上回った。
• 音楽のみの推定では、誤差が高かった（例：RT60のεMが152 ms）。これは、持続音と制作段階での固有の残響が原因で、音楽がパラメータ推定に不適切であることを示している。
• ノイズに強い性能を示し、SNR 15、10、5、0 dBの各条件下でRT60のεMはそれぞれ50、49、49、51 msであった。
• RIR測定値のばらつきが生じても、モデルは一貫した性能を維持しており、真値の音響パラメータに内在する不確実性に対してもロバストであることが示された。