[論文レビュー] DF-Conformer: Integrated architecture of Conv-TasNet and Conformer using linear complexity self-attention for speech enhancement

Yuma Koizumi, Shigeki Karita+5 more|arXiv (Cornell University)|Jun 30, 2021

Speech and Audio Processing被引用数 7

ひとこと要約

本稿では、時間領域マスク予測ネットワークに、拡張された深さ方向畳み込みとConformerブロックを統合した新規な音声強調モデル、DF-Conformerを提案する。線形計算量の自己注意（FAVOR+）を用いることで、計算効率を維持しつつ、TDCN++よりも高いスケール不変SNR改善効果を達成した。また、低遅延推論を維持しており、優れた性能とスケーラビリティを示している。

ABSTRACT

Single-channel speech enhancement (SE) is an important task in speech processing. A widely used framework combines an analysis/synthesis filterbank with a mask prediction network, such as the Conv-TasNet architecture. In such systems, the denoising performance and computational efficiency are mainly affected by the structure of the mask prediction network. In this study, we aim to improve the sequential modeling ability of Conv-TasNet architectures by integrating Conformer layers into a new mask prediction network. To make the model computationally feasible, we extend the Conformer using linear complexity attention and stacked 1-D dilated depthwise convolution layers. We trained the model on 3,396 hours of noisy speech data, and show that (i) the use of linear complexity attention avoids high computational complexity, and (ii) our model achieves higher scale-invariant signal-to-noise ratio than the improved time-dilated convolution network (TDCN++), an extended version of Conv-TasNet.

研究の動機と目的

• Conv-TasNetのマスク予測ネットワークにConformerアーキテクチャを統合することで、時間領域音声強調における逐次モデリングを向上させること。
• 長時間系列における標準的なマルチヘッド自己注意の高コスト問題を解決するため、線形計算量の自己注意（FAVOR+）を採用すること。
• 拡張された深さ方向畳み込みとConformerブロックの組み合わせにより、局所的およびグローバルな時系列モデリングを強化すること。
• 既存の最先端モデルと同等の計算コストで、音声強調分野における最先端性能を達成すること。
• 客観的指標と注意可視化を通じて、ハイブリッドアーキテクチャの有効性を検証すること。

提案手法

• TDCN++のマスク予測ネットワークにConformerブロックを統合し、標準的な自己注意をFAVOR+に置き換えて線形計算量を実現する。
• 1次元の拡張深さ方向畳み込み層を用いて受容 field を拡大し、局所的逐次モデリングを向上させる。
• エンドツーエンドの時間領域音声強調を実現するため、学習可能な分析/合成フィルタバンクを採用する。
• 訓練の安定化を図るため、TDCN++と同様にインスタンス正規化と学習可能なスケールパラメータを適用する。
• 正規直交ランダム特徴を用いてFAVOR+自己注意を実装し、自己注意の計算量をO(n²)からO(n)に低減する。
• 標準的なSE損失関数を用いて、3,396時間のノイズ混在音声データでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 Conv-TasNetに基づくアーキテクチャにConformerブロックを統合することで、音声強調性能が向上するか？
• RQ2 線形計算量の自己注意（FAVOR+）を用いることで、計算コストを増加させずに有効な長距離モデリングが可能か？
• RQ3 拡張畳み込みとConformerブロックの組み合わせが、時間領域SEにおける局所的およびグローバルな逐次モデリングに与える影響は何か？
• RQ4 提案アーキテクチャは、低遅延を維持しながらTDCN++を上回る性能を達成できるか？
• RQ5 DF-Conformerの注意パターンは、ノイズと音声を区別するモデルの能力をどのように反映しているか？

主な発見

• DF-Conformer-8は、スケール不変SNR改善（SI-SNRi）14.43 dBを達成し、TDCN++（14.10 dB）とConv-Tasformer（14.36 dB）を上回ったが、計算コストは同等であった。
• FAVOR+自己注意の導入により、計算複雑度が低減されながらも高い性能を維持でき、iDF-Conformer-12のような大規模モデルが15.93 dBのSI-SNRiを達成した。
• DF-Conformerの注意行列の分析から、初期層ではノイズと音声の特徴をグローバルに捉えるのに対し、深層部では局所的構造を用いてマスクを精緻化していることが明らかになった。
• 1D-DDC層とFAVOR+自己注意の統合により、リアルタイム要因（RTF）に影響を与えず性能が向上し、DF-Conformer-8ではRTF ≈ 0.13を達成した。
• iDF-Conformer-12は15.93 dBのSI-SNRiと88.4%のESTOIを達成し、モデルサイズの拡大に伴う優れたスケーラビリティを示した。
• 可視化解析により、DF-Conformerの注意ヘッドが常に局所フレームに注目しているわけではなく、シーケンス全体にわたり多様な注意パターンを学習していることが確認された。