[論文レビュー] Resource-Efficient Separation Transformer

Della Libera, Luca, Cem Subakan+4 more|arXiv (Cornell University)|Jun 19, 2022

Speech and Audio Processing被引用数 11

ひとこと要約

本稿では、非重複な潜在空間チャンクとメモリ・トランスフォーマーによるコンactな要約表現を用いることで、計算コストを低減する軽量なトランスフォーマー基盤アーキテクチャ、Resource-Efficient Separation Transformer (RE-SepFormer) を提案する。標準のSepFormerと比較して3倍少ないパラメータと11倍少ないMACsで競争力ある性能を達成し、長時間系列およびリアルタイム推論においても効率的にスケーリング可能である。

ABSTRACT

Transformers have recently achieved state-of-the-art performance in speech separation. These models, however, are computationally demanding and require a lot of learnable parameters. This paper explores Transformer-based speech separation with a reduced computational cost. Our main contribution is the development of the Resource-Efficient Separation Transformer (RE-SepFormer), a self-attention-based architecture that reduces the computational burden in two ways. First, it uses non-overlapping blocks in the latent space. Second, it operates on compact latent summaries calculated from each chunk. The RE-SepFormer reaches a competitive performance on the popular WSJ0-2Mix and WHAM! datasets in both causal and non-causal settings. Remarkably, it scales significantly better than the previous Transformer-based architectures in terms of memory and inference time, making it more suitable for processing long mixtures.

研究の動機と目的

• トランスフォーマー基盤の音声分離モデルが直面する高い計算およびメモリ要件を軽減し、リソース制限のあるデバイスへの展開を可能にすること。
• 自己注意機構における推論遅延とメモリ使用量を性能を損なわず低減すること。
• リアルタイムでのデバイス内音声分離に適した、効率的で低遅延な因果的推論を可能にすること。
• 重複するアテンションを非重複なチャンク分割と要約ベースのアテンションに置き換えることで、トランスフォーマーのアーキテクチャ的効率を検討すること。
• モデルの複雑さを低減しても、標準ベンチマークで競争力ある分離品質を維持できることを示すこと。

提案手法

• RE-SepFormerは潜在空間における非重複チャンクを用い、50%の重複を持つ従来手法と比較してチャンク数を半減する。
• 各チャンクに対して独立にIntra-Transformerを適用し、各セグメント内の局所的依存関係を処理する。
• 各チャンクから得られるコンパクトな要約表現を対象として、メモリ・トランスフォーマーがフルシーケンス自己注意を要約に注目させたものに置き換える。
• マスクベースのアーキテクチャを採用：エンコーダーが入力を潜在空間にマップし、マスクネットワークがソースマスクを予測し、デコーダーが分離信号を再構築する。
• 符号化にはストライド付き畳み込み、復元には逆畳み込みを用い、マスクネットワークにはReLUおよびPReLU活性化関数を適用する。
• 高い並列処理性を実現するように設計されており、GPU上の効率的推論が可能で、長時間系列入力においても良好にスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における非重複チャンク分割は、性能を劣化させることなく、トランスフォーマー基盤の音声分離における計算コストを低減できるか？
• RQ2 要約ベースのアテンション機構（メモリ・トランスフォーマー）は、フル自己注意を置き換えてもモデルの容量と正確性を維持できるか？
• RQ3 標準ベンチマーク上で、SepFormer や Conv-TasNet といった最先端モデルと比較して、RE-SepFormer の性能と効率性はいかがなっているか？
• RQ4 アーキテクチャのアブレーション（例：層数や次元数の削減）によって、パラメータ数とMACsをどれだけ削減できるか、また、妥当な分離品質を維持できるか？
• RQ5 RE-SepFormerは、非因果的オフライン処理および因果的リアルタイム設定の両方で、競争力ある性能を達成できるか？

主な発見

• WSJ0-2MixデータセットではSDRiが18.9 dB、WHAM!データセットでは14.4 dBを達成し、競争力ある性能を示した。
• 標準のSepFormerと比較して、モデルパラメータを3倍以上、MACsを11倍削減したが、性能の低下はわずかであった。
• 特に長時間系列入力において、従来のトランスフォーマー基盤アーキテクチャと比較して、メモリ使用量と推論時間の両面で顕著に優れたスケーリング性能を示した。
• アブレーションスタディの結果、Intra-およびメモリ・トランスフォーマーの層数を減らすことが、性能と効率性に最も大きな影響を与えたのに対し、フィードフォワード次元の削減は小さい影響にとどまった。
• 極端なアブレーション（4層および512次元のフィードフォワード層）を施しても、SDRiが16.5 dBを維持し、効率性においてConv-TasNet や SignPredictionNet よりも優れた性能を示した。
• RE-SepFormerは並列処理に非常に適しており、スマートフォンやラップトップなどの小型デバイスにおけるリアルタイムで低遅延な推論に最適である。