[論文レビュー] A comparison of handcrafted, parameterized, and learnable features for speech separation

Wenbo Zhu, Mou Wang+2 more|arXiv (Cornell University)|Nov 29, 2020

Speech and Audio Processing参考文献 14被引用数 7

ひとこと要約

この論文は、Conv-Tasnetフレームワークにおける音声分離のための手作業で作成された（STFT、MPGTF）、パラメータ化された（ParaMPGTF）、および学習可能な特徴量を比較している。ParaMPGTFは、マルチフェーズギャマトーンフィルタバンクの学習可能な拡張版であり、デコーダが学習可能である場合、すべての特徴タイプが類似した性能を示すが、STFTがわずかに優れている。一方、疑似逆行列デコーダを使用する場合、ParaMPGTFは手作業で作成された特徴量を上回る性能を発揮する。

ABSTRACT

The design of acoustic features is important for speech separation. It can be roughly categorized into three classes: handcrafted, parameterized, and learnable features. Among them, learnable features, which are trained with separation networks jointly in an end-to-end fashion, become a new trend of modern speech separation research, e.g. convolutional time domain audio separation network (Conv-Tasnet), while handcrafted and parameterized features are also shown competitive in very recent studies. However, a systematic comparison across the three kinds of acoustic features has not been conducted yet. In this paper, we compare them in the framework of Conv-Tasnet by setting its encoder and decoder with different acoustic features. We also generalize the handcrafted multi-phase gammatone filterbank (MPGTF) to a new parameterized multi-phase gammatone filterbank (ParaMPGTF). Experimental results on the WSJ0-2mix corpus show that (i) if the decoder is learnable, then setting the encoder to STFT, MPGTF, ParaMPGTF, and learnable features lead to similar performance; and (ii) when the pseudo-inverse transforms of STFT, MPGTF, and ParaMPGTF are used as the decoders, the proposed ParaMPGTF performs better than the other two handcrafted features.

研究の動機と目的

• 同じConv-Tasnetフレームワーク内で、手作業で作成された特徴量、パラメータ化された特徴量、学習可能な特徴量の最初の体系的比較を実施すること。
• エンドツーエンド音声分離において、学習可能な特徴量が、手作業で作成された特徴量およびパラメータ化された代替特徴量を一貫して上回るかどうかを調査すること。
• 手作業で作成されたMPGTFを学習可能な形に拡張することで、パラメータ化された特徴量の有効性を評価すること（即ち、ParaMPGTFの導入）。
• エンコーダとデコーダの特徴量の選択が、さまざまな学習設定下で分離性能に顕著な影響を及えるかどうかを特定すること。

提案手法

• 中心周波数と帯域幅が分離ネットワークとともに共同最適化される、パラメータ化されたマルチフェーズギャマトーンフィルタバンク（ParaMPGTF）を提案する。
• 標準的な1次元畳み込みエンコーダおよびデコーダを、STFT、MPGTF、ParaMPGTF、または学習可能なフィルタに置き換えることで、Conv-Tasnetアーキテクチャを変更する。
• エンコーダ出力にReLU活性化関数を適用し、非負の時間周波数表現を保証する。
• 分離性能の評価のため、スケール不変ソース対ノイズ比（SI-SNR）を最適化損失関数として採用する。
• 再構成品質の比較のために、STFT、MPGTF、ParaMPGTFの疑似逆行列変換をデコーダとして適用する。学習可能なデコーダを用いない状況での比較を目的とする。
• 学習可能なデコーダと固定（疑似）逆行列デコーダの両方を用いてモデルを学習し、特徴設計の影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なデコーダを用いた場合、手作業で作成された特徴量（STFT、MPGTF）、パラメータ化された特徴量（ParaMPGTF）、および学習可能な特徴量が、エンコーダとして使用された際の性能は、どのように比較されるか？
• RQ2 手作業で作成されたMPGTFのパラメータ化拡張（すなわち、ParaMPGTF）は、学習可能なデコーダを用いた場合、元のMPGTFを上回る性能を発揮するのか？
• RQ3 手作業で作成された特徴量のデコーダを学習可能な逆変換に置き換えた場合、性能は向上するのか？この設定下で、ParaMPGTFはどのように比較されるか？
• RQ4 （疑似）逆行列デコーダを用いた場合、学習可能な特徴量と手作業で作成された／パラメータ化された特徴量の間で、学習収束の挙動にどのような違いが生じるか？

主な発見

• デコーダが学習可能である場合、STFT、MPGTF、ParaMPGTF、および学習可能な特徴量は類似した性能を示し、テストセットではSTFTが最高のSI-SNR（17.28 dB）を達成した。
• 学習可能なデコーダ設定下では、ParaMPGTFがMPGTFをわずかに上回り、開発セットではMPGTFの17.20 dBに対して17.06 dBのSI-SNRを達成した。
• （疑似）逆行列変換をデコーダとして使用する場合、ParaMPGTFが最も高い性能を発揮し、開発セットで16.64 dB、テストセットで16.04 dBのSI-SNRを記録した。STFT（16.31/15.82 dB）およびMPGTF（16.32/15.73 dB）を上回った。
• 収束曲線の分析から、学習可能な特徴量は手作業で作成された特徴量およびパラメータ化された特徴量よりも速やかに収束することが示された。特に、MPGTFと比較して、ParaMPGTFは学習の後期段階で収束が加速していることが確認された。
• ParaMPGTFの最適化パラメータ（c₁=25.09、c₂=9.198）は、手作業で作成されたMPGTFの値（c₁=24.7、c₂=9.265）に近く、デコーダが学習可能である場合の両者の類似した性能を説明している。
• マグニチュードスペクトログラムの可視化により、ParaMPGTFとMPGTFが類似したフィルタ応答を生成することが確認され、パラメータ化設計の有効性が裏付けられた。