[論文レビュー] An efficient encoder-decoder architecture with top-down attention for speech separation

Kai Li, Runxuan Yang+1 more|arXiv (Cornell University)|Sep 30, 2022

Speech and Audio Processing被引用数 15

ひとこと要約

本論文では、トップダウン注意機構を活用することで、計算コストを著しく削減しながら最先端の性能を達成する、生体にインspiredされたエンコーダ・デコーダアーキテクチャであるTDANetを提案する。グローバル注意モジュールと段階的な局所的注意層を統合することで、MACsを5%、CPU推論時間をSepformerの10%にまで低減したが、3つのベンチマークデータセットにおいても競争力ある分離品質を維持した。

ABSTRACT

Deep neural networks have shown excellent prospects in speech separation tasks. However, obtaining good results while keeping a low model complexity remains challenging in real-world applications. In this paper, we provide a bio-inspired efficient encoder-decoder architecture by mimicking the brain's top-down attention, called TDANet, with decreased model complexity without sacrificing performance. The top-down attention in TDANet is extracted by the global attention (GA) module and the cascaded local attention (LA) layers. The GA module takes multi-scale acoustic features as input to extract global attention signal, which then modulates features of different scales by direct top-down connections. The LA layers use features of adjacent layers as input to extract the local attention signal, which is used to modulate the lateral input in a top-down manner. On three benchmark datasets, TDANet consistently achieved competitive separation performance to previous state-of-the-art (SOTA) methods with higher efficiency. Specifically, TDANet's multiply-accumulate operations (MACs) are only 5\% of Sepformer, one of the previous SOTA models, and CPU inference time is only 10\% of Sepformer. In addition, a large-size version of TDANet obtained SOTA results on three datasets, with MACs still only 10\% of Sepformer and the CPU inference time only 24\% of Sepformer.

研究の動機と目的

• エッジデバイスへの実装を念頭に置いた、深層学習に基づく音声分離手法における高いモデル複雑性の課題に対処すること。
• 人間の脳処理にインspiredされたトップダウン注意機構が、性能を損なわず効率を向上させることの可能性を探ること。
• 計算コストを著しく削減しながらも高い精度を維持する、軽量かつ強力な音声分離モデルの設計。
• トップダウン注意機構が、ますます複雑化するトランスフォーマーに基づくアーキテクチャのより効率的な代替手段であることを示すこと。

提案手法

• TDANetは、ボトムアップ、トップダウン、およびラテラル接続を持つエンコーダ・デコーダアーキテクチャを採用し、脳の階層的感覚処理を模倣する。
• グローバル注意（GA）モジュールは、マルチスケールの音響特徴からトップダウン注意信号を抽出し、異なるスケールの特徴を調整する。
• 段階的な局所的注意（LA）層は、隣接する層からの特徴を用いて局所的注意信号を生成し、トップダウンの方向からラテラル入力を調整する。
• エンコーダは、カーネルサイズ5、ストライド2の深度可変畳み込みと、ゲート付き線形ユニット（GLN）を用いて特徴をダウンサンプリングする。
• デコーダは、最近傍補間とLA層を用いて高分解能特徴を復元し、適応的調整のための学習可能なパラメータを備える。
• モデルは、分離品質を最適化する損失関数を用いてエンド・ツー・エンドで訓練され、効率性はMACs、GPU/CPU推論時間、パラメータ数によって測定される。

実験結果

リサーチクエスチョン

• RQ1 神経科学からインスパイされたトップダウン注意機構が、深層学習に基づく音声分離モデルの効率性を向上させることができるか？
• RQ2 モデルの複雑性と推論コストを著しく削減しながら、最先端の分離性能を達成することは可能か？
• RQ3 標準的なトランスフォーマーに基づくアーキテクチャと比較して、生体にインスパイされた注意機構は性能と効率の面でどのように異なるか？
• RQ4 トップダウン注意を備えた軽量モデルは、精度と計算効率の両面で既存の最先端モデルを上回ることができるか？

主な発見

• TDANetは、LRS2-2Mix、Libri2Mix、WHAM!データセットにおいて、それぞれSI-SNRiが13.2、16.9、14.8の競争力ある分離性能を達成し、以前の最先端モデルと同等またはそれを上回った。
• TDANetは、MACsをわずか5%、CPU推論時間をSepformerの10%にまで低減したが、高い性能を維持した。
• TDANet Large（大規模バージョン）は、3つのデータセットすべてで最先端の結果を達成し、MACsはSepformerの10%、CPU推論時間は24%にまで低減した。
• TDANetは、A-FRCNNとSuDORM-RFを上回る推論速度を示し、GPU推論時間はそれぞれ19%、18%、CPU推論時間は15%、46%にまで低減した。
• トレーニング時間の短縮も達成された：TDANetは、DPTNetと比較してバックワード時間の13%、Sepformerと比較して47%の時間で学習が完了した。
• モデルは強い低遅延（因果的）性能を示し、因果的設定においても、軽量モデルのSuDORM-RFやA-FRCNNを上回った。