[論文レビュー] Nonlinear Residual Echo Suppression Based on Multi-stream Conv-TasNet

Hongsheng Chen, Teng Xiang+2 more|arXiv (Cornell University)|May 15, 2020

Speech and Audio Processing参考文献 23被引用数 4

ひとこと要約

本稿では、線形AECシステムの残差信号と自己適応フィルタ出力を二重入力ストリームとして用いることで、エコー抑制性能を向上させるマルチストリームConv-TasNetベースのリニアイエコキャンセル（RES）手法を提案する。マルチインプット畳み込みブロックと指数関数的層正規化の統合により、単話者および二重話者状況の両方で優れた性能を達成し、二重話者条件下では45 dBを超えるERLEと13 dBを超えるSDR向上を実現した。

ABSTRACT

Acoustic echo cannot be entirely removed by linear adaptive filters due to the nonlinear relationship between the echo and far-end signal. Usually a post processing module is required to further suppress the echo. In this paper, we propose a residual echo suppression method based on the modification of fully convolutional time-domain audio separation network (Conv-TasNet). Both the residual signal of the linear acoustic echo cancellation system, and the output of the adaptive filter are adopted to form multiple streams for the Conv-TasNet, resulting in more effective echo suppression while keeping a lower latency of the whole system. Simulation results validate the efficacy of the proposed method in both single-talk and double-talk situations.

研究の動機と目的

• 線形音響エコキャンセル（LAEC）が非線形エコパスを処理する能力に限界があることに対処する。
• 従来のRES手法における残差エコー抑制と近端音声歪みのトレードオフを克服する。
• 深層学習を活用して、リニアイエコキャンセルにおける複雑な非線形関係をモデル化する。
• 自己適応フィルタ出力からの補助情報を利用することで、音声品質とエコー抑制を向上させる。
• 周波数ドメインおよび再帰的ネットワークベースの手法を上回る、低遅延でエンドツーエンドの時間領域ソリューションを開発する。

提案手法

• LAECの残差信号 $s_{\text{AEC}}(n)$ と自己適応フィルタ出力 $\hat{d}(n)$ の二つの入力ストリームを処理できるように、Conv-TasNetアーキテクチャを変更する。
• 時間的畳み込みネットワーク（TCN）にマルチインプット畳み込み（MI Conv）ブロックを導入し、両入力ストリームからの特徴を同時にモデル化する。
• 累積層正規化（cLN）を指数関数的層正規化（eLN）に置き換えることで、学習の安定化と一般化性能の向上を図る。
• 標準的な音声分離におけるチャネルバランスを破るよう、訓練目的を近端音声の回復を重視し、残差エコーを抑制するように変更する。
• 波形を埋め込み表現にマップする1次元畳み込みエンコーダを用い、その後にTCNベースの抑制モジュールと逆畳み込みデコーダーで波形再構築を行う。
• 音声品質とエコー抑制に最適化された損失関数を用いたエンドツーエンド学習を実施し、STFTベース手法に内在する位相再構築問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 LAECの残差信号と自己適応フィルタ出力を二重ストリームとして組み合わせることで、単一ストリームモデルと比較してリニアイエコキャンセル性能が向上するか？
• RQ2 マルチインプット畳み込みブロックの統合により、非線形リニアイエコキャンセルの抑制能力が向上し、近端音声品質が保持されるか？
• RQ3 従来のRES手法（例：FCN、BLSTM）と比較して、本手法はエコー抑制と音声品質指標において優れているか？
• RQ4 非因果的RNNベース手法（例：BLSTM）と比較して、本手法はどの程度遅延を低減しているか？
• RQ5 変更を加えたConv-TasNetアーキテクチャは、エコー対音声エネルギー比が高い二重話者状況において、標準Conv-TasNetを上回る性能を達成できるか？

主な発見

• 提案されたマルチストリームConv-TasNet（TasNet-MI）は、単話者状況において音声および音楽の両方で45 dBを超えるエコーリターンロス増幅（ERLE）を達成し、FCN（16.55 dB）とBLSTM（音声：51.67 dB）を大きく上回った。
• −14.2 dB SERの二重話者状況において、TasNet-MIは音声のPESQ 2.80およびSDR 13.8 dBを達成し、TasNet-L（PESQ：2.71、SDR：12.6 dB）およびTasNet-O（PESQ：2.57、SDR：11.7 dB）を上回った。
• −18.2 dB SERの音楽遠端信号に対して、TasNet-MIはSTOI 0.820を達成し、TasNet-L（0.800）およびTasNet-O（0.773）を上回り、音声の聞き取りやすさが向上した。
• 完全に畳み込み的かつ因果的なアーキテクチャを採用しているため、高遅延を示す非因果的BLSTMベース手法を避けることができ、低遅延を維持した。
• MI ConvブロックとeLNの追加により、二重話者音声状況でTasNet-Oに対して1.1 dB、TasNet-Lに対して2.2 dBのSDR向上を達成した。
• 二重話者音声状況においてLAECオンリープロセッシングと比較して13.8 dBのSDR向上を達成し、近端音声品質を損なわず効果的なエコー抑制を実現した。