[論文レビュー] FaSNet: Low-latency Adaptive Beamforming for Multi-microphone Audio Processing

Yi Luo, Enea Ceolini+3 more|Zurich Open Repository and Archive (University of Zurich)|Sep 29, 2019

Speech and Audio Processing参考文献 40被引用数 30

ひとこと要約

FaSNet は、正規化相互相関（NCC）のようなチャネル間特徴量から適応型ビームフォーミングフィルタを学習する、低遅延で時間領域のフィルタ・アンド・サム・ビームフォーミングネットワークであり、2段階の時系列畳み込みネットワーク（TCN）を用いる。反響とノイズの多い条件下でも最先端の性能を達成し、周波数ドメインの目的関数で学習した場合、CHiME-3 データセットで語彙誤り率（WER）を 14.3% 減少させ、従来のオラクル・ビームフォーマーを上回る。

ABSTRACT

Beamforming has been extensively investigated for multi-channel audio processing tasks. Recently, learning-based beamforming methods, sometimes called extit{neural beamformers}, have achieved significant improvements in both signal quality (e.g. signal-to-noise ratio (SNR)) and speech recognition (e.g. word error rate (WER)). Such systems are generally non-causal and require a large context for robust estimation of inter-channel features, which is impractical in applications requiring low-latency responses. In this paper, we propose filter-and-sum network (FaSNet), a time-domain, filter-based beamforming approach suitable for low-latency scenarios. FaSNet has a two-stage system design that first learns frame-level time-domain adaptive beamforming filters for a selected reference channel, and then calculate the filters for all remaining channels. The filtered outputs at all channels are summed to generate the final output. Experiments show that despite its small model size, FaSNet is able to outperform several traditional oracle beamformers with respect to scale-invariant signal-to-noise ratio (SI-SNR) in reverberant speech enhancement and separation tasks. Moreover, when trained with a frequency-domain objective function on the CHiME-3 dataset, FaSNet achieves 14.3\% relative word error rate reduction (RWERR) compared with the baseline model. These results show the efficacy of FaSNet particularly in reverberant and noisy signal conditions.

研究の動機と目的

• リアルタイムで低遅延な音声処理アプリケーションにおいて、特に周波数ドメイン手法に起因する既存の学習ベースのビームフォーマーの高遅延を是正すること。
• 反響とノイズの多い環境でも高い性能を維持する、時間領域で因果的（causal）なビームフォーミングシステムの設計。
• 信号レベルおよび ASR レベルの学習目的関数をサポートすることで、自動音声認識（ASR）バックエンドとのエンド・トゥ・エンド統合を可能にすること。
• コンact で適応型のフィルタ・アンド・サム構造が、困難な音響条件下で従来の非因果的ビームフォーマーを上回ることを実証すること。

提案手法

• FaSNet は 2 段階のアーキテクチャを採用する：最初の段階では、正規化相互相関（NCC）特徴量を用いた時系列畳み込みネットワーク（TCN）により、基準マイクロホンの時間領域ビームフォーミングフィルタを推定する。
• 2 番目の段階では、クリーン化された基準信号を用いて、他のすべてのマイクロホンのフィルタを推定し、フルアレイ・ビームフォーミングを実現する。
• チャネル間特徴量は、チャネル間の相互相関のコサイン類似度から得られ、フィルタ推定に向けた頑健な空間的ヒントを提供する。
• TCN を用いたフィルタ推定器は、信号レベルの目的関数（例：SI-SNR）または ASR レベルの目的関数（例：メルスペクトログラム損失）の両方で学習可能であり、柔軟性を確保する。
• リアルタイム処理に適した因果的かつ低遅延な設計となっており、オンライン音声処理に向けた実装に適している。
• すべてのマイクロホンからのフィルタ出力を合算することで、古典的なフィルタ・アンド・サム（FaS）ビームフォーミングのパラダイムに従い、単一チャンネルのビームフォーマード出力を得る。

実験結果

リサーチクエスチョン

• RQ1 時間領域で因果的なビームフォーミングネットワークは、反響とノイズの多い環境下で、非因果的で従来のビームフォーマーと同等またはそれ以上の性能を達成できるか？
• RQ2 適応型の TCN ベースのフィルタを備えた 2 段階のフィルタ・アンド・サム構造は、低遅延環境下で固定ビームフォーミングやマスキングベースの手法を上回るか？
• RQ3 エンド・トゥ・エンド学習を用いた場合、FaSNet が自動音声認識（ASR）性能をどの程度向上できるか？
• RQ4 FaSNet のビームフォーミングフィルタは、さまざまな発話および非発話コンテンツのセグメントにおいて、どの程度適応的か？

主な発見

• ESE（エコウ・ノイズあり音声強調）および ESS（エコウ・ノイズあり音声分離）の両タスクにおいて、FaSNet は複数の従来のオラクル・ビームフォーマーを、スケール不変信号対ノイズ比（SI-SNR）の観点で上回った。
• CHiME-3 データセットにおいて、FaSNet はクリーン信号のメルスペクトログラムと SI-MSE 損失で学習した場合、14.3% の相対的語彙誤り率削減（RWERR）を達成し、ベースラインモデルを上回った。
• 反響のあるクリーン信号と SI-SNR 目的関数で学習した場合、FaSNet は 12.2 dB の SI-SNR の向上を達成し、Conv-TasNet ベースライン（8.7 dB）を顕著に上回った。
• 可視化の結果、FaSNet はコンテンツ依存のビームパターンを学習しており、非発話領域にノード（null）を形成し、発話領域では方向的に適応する応答を示した。
• FaSNet は小さなモデルサイズで高い性能を維持しており、低遅延かつリアルタイム処理に適した効率性と適合性を示した。
• このシステムは柔軟性に富み、任意の単一チャンネル音声強調または ASR システムと組み合わせ可能であり、モジュラー統合を可能にする。