[論文レビュー] Multi-Scale Attention Neural Network for Acoustic Echo Cancellation

Lu Ma, Song Yang+2 more|arXiv (Cornell University)|May 31, 2021

Speech and Audio Processing参考文献 30被引用数 6

ひとこと要約

本論文は、遠近端および近近端信号からのマルチスケールスペクトログラム特徴量を抽出するために、拡張畳み込みを用いた1次元時系列畳み込みネットワーク（TCN）を用いたエンドツーエンドのマルチスケールアテンションニューラルネットワークを、音響エコーキャンセレーション（AEC）のために提案する。アテンション機構により、異なる受容 field スケールにわたる特徴量が動的に重み付けされ、非線形歪み、背景ノイズ、ダブルトークに対して高いロバスト性が向上する。本手法は、非線形的かつノイジーな環境下でも、実世界の厳しい条件下で、ERLE（最大58.53 dB）およびPESQ（最大1.76の向上）という最先端の性能を達成する。

ABSTRACT

Acoustic Echo Cancellation (AEC) plays a key role in speech interaction by suppressing the echo received at microphone introduced by acoustic reverberations from loudspeakers. Since the performance of linear adaptive filter (AF) would degrade severely due to nonlinear distortions, background noises, and microphone clipping in real scenarios, deep learning has been employed for AEC for its good nonlinear modelling ability. In this paper, we constructed an end-to-end multi-scale attention neural network for AEC. Temporal convolution is first used to transform waveform into spectrogram. The spectrograms of the far-end reference and the near-end mixture are concatenated, and fed to a temporal convolution network (TCN) with stacked dilated convolution layers. Attention mechanism is performed among these representations from different layers to adaptively extract relevant features by referring to the previous hidden state in the encoder long short-term memory (LSTM) unit. The representations are weighted averaged and fed to the encoder LSTM for the near-end speech estimation. Experiments show the superiority of our method in terms of the echo return loss enhancement (ERLE) for single-talk periods and the perceptual evaluation of speech quality (PESQ) score for double-talk periods in background noise and nonlinear distortion scenarios.

研究の動機と目的

• 現実世界のAEC応用において、線形自己適応フィルタの非線形歪み、背景ノイズ、マイククリッピングへの対処の限界を解消すること。
• 従来の手法が失敗するダブルトークおよび非線形音響環境において、エコー抑制性能を向上させること。
• マルチスケールの時間的および周波数的特徴量を捉えることで、ロバストなエコーキャンセレーションを実現するエンドツーエンドのディープラーニングフレームワークを構築すること。
• 受容 field が異なる拡張畳み込み層に跨るアテンション機構を統合することで、特徴表現を向上させること。
• 合成および実世界のインパulse応答（RIR）の両方における一般化性能を検証すること。

提案手法

• 1次元時系列畳み込みを用いて、生波形を高分解能スペクトログラムに変換し、STFTに類似した動作を学習可能なフィルタで実現する。
• 遠近端リファレンスおよび近近端ミキシングスペクトログラムを連結し、スタックされた拡張畳み込みを用いたTCNに供給することで、マルチスケールの時間的特徴量を抽出する。
• 異なる拡張畳み込み層からの特徴表現に、エンコーダLSTMの前の隠れ状態を用いてガイドするアテンション機構を適用する。
• 重み付けされた特徴表現を合算し、それをエンコーダLSTMに通して近近端音声信号を推定する。
• デコーダは、マスク処理された特徴量から、逆方向1次元畳み込みを用いて強化波形を再構築する。
• エコー抑制および音声品質を最適化する損失関数を用いて、ネットワーク全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 非線形歪みおよび背景ノイズの存在下でも、マルチスケールアテンション機構がAEC性能を向上させることができるか？
• RQ2 受容 field が増加する拡張畳み込み層に跨るアテンションが、エコーキャンセレーションに向けた特徴表現をどのように向上させるか？
• RQ3 提案されたエンドツーエンドフレームワークは、従来の自己適応フィルターや先行するディープラーニング手法を、ダブルトークおよび非線形状況で上回ることができるか？
• RQ4 合成RIRで学習し、実測RIRでテストした場合、モデルの一般化性能はどの程度か？
• RQ5 混浊時間やSNRレベルの変動が、モデルのロバスト性および性能に与える影響は何か？

主な発見

• 非線形状況下で、本手法は3.5 dBのSERを伴い、ERLEが58.53 dBに達し、AES+RES（16.76 dB）およびMultitask（61.79 dB）のベースラインを大きく上回る。
• 背景ノイズを伴うダブルトーク状況下で、本手法はΔPESQで1.76の向上を達成し、AES+RES（0.93）およびMultitask（1.04）を上回る。
• ノイジーな状況（10 dB SNR）下で、本手法は52.99 dBのERLEおよび1.53のΔPESQを達成し、Multitask（46.12 dB ERLE、0.70 ΔPESQ）を上回る。
• Aachenデータベースの実測RIRを用いた場合、『corridor』テスト環境で本手法は55.74 dBのERLEおよび1.46のΔPESQを達成し、AES+RES（12.16 dB ERLE、0.57 ΔPESQ）を上回る。
• 合成RIRで学習し、実際の『corridor』RIRでテストした場合、本手法は1.18–1.27のΔPESQ向上を達成し、線形および非線形両モデルにおいてCAD-AECを上回る。
• 本手法は、非線形モデル能力に優れており、非線形RIRでは38.63 dBのERLEを達成し、CAD-AECの19.08 dBを上回るが、線形RIRではわずかにERLEが低い。