[論文レビュー] EchoFilter: End-to-End Neural Network for Acoustic Echo Cancellation

Lu Ma, Song Yang+3 more|arXiv (Cornell University)|May 31, 2021

Speech and Audio Processing参考文献 30被引用数 9

ひとこと要約

EchoFilterは、1次元時系列畳み込み、双方向LSTM、局所的アテンションを用いて生波形を処理するエンド・ツー・エンドの深層学習フレームワークを提案する。時間的整合性を図るために、マルチタスク学習を統合したダブルトーク検出ヘッドを備え、非線形歪みおよび背景ノイズ下で、ERLE（最大59.32 dB）およびPESQ（1.30）において最先端の性能を達成した。

ABSTRACT

Acoustic Echo Cancellation (AEC) whose aim is to suppress the echo originated from acoustic coupling between loudspeakers and microphones, plays a key role in voice interaction. Linear adaptive filter (AF) is always used for handling this problem. However, since there would be some severe effects in real scenarios, such nonlinear distortions, background noises, and microphone clipping, it would lead to considerable residual echo, giving poor performance in practice. In this paper, we propose an end-to-end network structure for echo cancellation, which is directly done on time-domain audio waveform. It is transformed to deep representation by temporal convolution, and modelled by Long Short-Term Memory (LSTM) for considering temporal property. Since time delay and severe reverberation may exist at the near-end with respect to the far-end, a local attention is employed for alignment. The network is trained using multitask learning by employing an auxiliary classification network for double-talk detection. Experiments show the superiority of our proposed method in terms of the echo return loss enhancement (ERLE) for single-talk periods and the perceptual evaluation of speech quality (PESQ) score for double-talk periods in background noise and nonlinear distortion scenarios.

研究の動機と目的

• 実世界のAECシナリオにおける非線形歪み、背景ノイズ、マイククリッピングに対処できない従来の線形適応フィルタの限界を解消すること。
• 従来のエコー推定を深層ニューラルネットワークに置き換えることで、音響機器の非線形部品に起因する残りエコーを低減すること。
• ダブルトーク期間中の性能向上を図るため、専用のダブルトーク検出モジュールを補助タスクとして統合すること。
• 中間表現（例：STFT）を避けて、生波形の直接学習を可能にすることで、時間的・スペクトル的忠実度を保持するエンド・ツー・エンドの訓練を可能にすること。

提案手法

• 生波形を高分解能な深層表現に変換するため、従来のSTFTベースの特徴抽出に代わって1次元時系列畳み込み層を用いる。
• エコーおよびミキシング信号の長距離時系列依存性をモデル化するため、双方向LSTM（Long Short-Term Memory）ネットワークを採用する。
• 変動する時間遅延および混响に対応するため、遠方音声信号と近方ミキシング信号の間の局所的アテンション機構を導入する。
• 分類ヘッドを別途設け、ダブルトーク状態（例：近方音声のみ、遠方音声のみ、ダブルトーク）を予測するマルチタスク学習フレームワークを実装する。
• マスクネットワークにReSigmoid活性化関数を適用し、標準的なSigmoidよりもエコー抑制性能を向上させる。
• 波形再構成には1次元逆畳み込み（transposed convolutions）を用い、マスク表現からエンド・ツー・エンドで微分可能な音声合成を実現する。

実験結果

リサーチクエスチョン

• RQ1 非線形歪みおよび背景ノイズ下で、エンド・ツー・エンドの深層学習モデルが古典的適応フィルタを上回る性能を発揮できるか？
• RQ2 補助タスクとしてのダブルトーク検出の統合が、ダブルトーク期間中のエコーキャンセル性能にどのように寄与するか？
• RQ3 変動する時間遅延および混響が存在する状況下で、局所的アテンションが遠方信号とミキシング信号間の整合性をどの程度向上させるか？
• RQ4 スペクトル特徴に依存する手法と比較して、生波形の直接学習がエコー抑制性能および音声品質に与える影響は何か？
• RQ5 訓練条件とは異なる実測インパルス応答（RIR）でテストした場合、提案手法のロバストネスはどの程度か？

主な発見

• 合成非線形エコー環境下で、EchoFilterは59.32 dBのエコー・リターン・ロス・エイバンスメント（ERLE）を達成し、ベースライン手法（AES+RES: 10.13 dB、Multitask: 46.12 dB）を大きく上回った。
• ダブルトーク状況下では、提案手法がPESQスコア1.30を達成したのに対し、マルチタスクベースラインは0.70、AES+RESは0.21であった。これは、音声品質の優れた保持を示している。
• Aachenデータベースの実測RIRを用いた実験では、0 dBの信号対エコー比（SER）下で70.93 dBのERLEを達成し、CAD-AEC（56.51 dB）およびAES+RES（12.16 dB）を上回った。
• 合成RIRで学習し、実世界の「コロニーコーリドア」RIRでテストした場合、線形モデルで68.71 dB、非線形モデルで66.39 dBのERLEを維持し、全SERレベルでCAD-AECを上回った。
• SERが高くなるほどCAD-AECに対するPESQ向上幅が増大し、非線形モデルで7 dB SER時において0.52に達した。これは、劣悪な条件下でも優れたロバストネスを示している。
• アブレーションスタディにより、ReSigmoid活性化関数が標準Sigmoidよりも優れたエコー抑制性能を発揮することが実証された。