[論文レビュー] Enhancing End-to-End Multi-channel Speech Separation via Spatial Feature Learning

Rongzhi Gu, Shixiong Zhang+6 more|arXiv (Cornell University)|Mar 9, 2020

Speech and Audio Processing参考文献 17被引用数 4

ひとこと要約

本稿では、2次元畳み込み層を用いて入力波形から直接空間特徴を学習するエンドツーエンドのマルチチャネル音声分離モデルを提案する。この手法は、手作業で設計されたチャネル間位相差（IPD）の代替手段として、チャネル間畳み込み差分（ICD）を計算する。ICDに基づくモデルは、シミュレーテッドなWSJ0 2-mixデータセットにおいてIPDベースのモデルよりSI-SDRiで10.4%の向上を達成し、空間的ヒントをエンドツーエンドで最適化することで優れた性能を示している。

ABSTRACT

Hand-crafted spatial features (e.g., inter-channel phase difference, IPD) play a fundamental role in recent deep learning based multi-channel speech separation (MCSS) methods. However, these manually designed spatial features are hard to incorporate into the end-to-end optimized MCSS framework. In this work, we propose an integrated architecture for learning spatial features directly from the multi-channel speech waveforms within an end-to-end speech separation framework. In this architecture, time-domain filters spanning signal channels are trained to perform adaptive spatial filtering. These filters are implemented by a 2d convolution (conv2d) layer and their parameters are optimized using a speech separation objective function in a purely data-driven fashion. Furthermore, inspired by the IPD formulation, we design a conv2d kernel to compute the inter-channel convolution differences (ICDs), which are expected to provide the spatial cues that help to distinguish the directional sources. Evaluation results on simulated multi-channel reverberant WSJ0 2-mix dataset demonstrate that our proposed ICD based MCSS model improves the overall signal-to-distortion ratio by 10.4% over the IPD based MCSS model.

研究の動機と目的

• 手作業で設計された空間特徴（例：IPD）とデータ駆動型のエンドツーエンド音声分離フレームワークとの間のデータ不一致を解消すること。
• 固定で事前計算された特徴に依存せずに、生波形から直接空間的ヒントを学習する完全なエンドツーエンドMCSSシステムの構築。
• 遠方音声分離における位相再構築の限界と混浊の影響を、学習された空間表現を統合することで克服すること。
• エンドツーエンドで分離目的と同時に最適化可能な、新たな空間特徴学習メカニズム「チャネル間畳み込み差分（ICD）」の設計。

提案手法

• 複数のマイクチャネルにわたる時間領域空間フィルタを学習するために2次元畳み込み層を用い、生波形からの適応的空間フィルタリングを可能にする。
• IPDの数学的定式化を模倣した専用のconv2dカーネルを設計し、チャネル間畳み込み差分（ICD）を計算する。
• エンコーダ・デコーダ構造がSTFTおよびiSTFTの代わりに学習可能なフィルタを用い、時間的整合性を維持するとともにエンドツーエンド学習を可能にする。
• ICDは窓関数 $ w $ を用いて計算され、正確な差分計算のため初期化時に-1に設定され、最適な空間表現に適応可能となるように学習可能にする。
• スケール不変信号対歪み比（SI-SDR）を目的関数として用い、スケール不変性を考慮した訓練を実施。スケール不変性を確保するため、パーミュテーション不変訓練（PIT）を用いて発話者ラベルの不確実性に対処する。
• ICDはエンコーダ出力と分離モジュールに統合され、音声分離と空間特徴学習を同時に最適化できるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 2次元畳み込み層を用いて生波形から直接計算される学習された空間特徴は、エンドツーエンドのマルチチャネル音声分離において、手作業で設計されたチャネル間位相差（IPD）を上回ることができるか？
• RQ2 エンドツーエンドで音声分離目的と同時に最適化された際、提案されたチャネル間畳み込み差分（ICD）メカニズムはIPDよりもより効果的な空間的ヒントを提供するか？
• RQ3 ICDカーネルの初期化と学習可能化の設定が分離性能に与える影響は何か？
• RQ4 低周波数帯域におけるICDの寄与は何か？また、IPDベースの特徴と補完的であるか？
• RQ5 ICDとIPDを統合することで、特に角度分離が困難な状況下でも分離性能がさらなる向上を遂げられるか？

主な発見

• ICDベースのMCSSモデルは、シミュレーテッドなWSJ0 2-mixデータセットにおいて、IPDベースのモデルよりSI-SDRiで10.4%の相対的向上を達成した。
• 33フィルタを用い、ICDカーネルを学習可能に初期化したモデルは12.3 dBのSI-SDRiを達成し、ベースラインのSC-Conv-TasNet（9.1 dB）およびIPDベースのモデル（11.5 dB）を上回った。
• ICDベースのモデルはIPDベースのモデルより0.4 dBの向上を示しており、データ駆動型空間特徴が手作業で設計された特徴よりも効果的である可能性を示している。
• 小角度差分（<15°）の条件下ではICDベースのモデルの性能が著しく劣る傾向にあり、この範囲の訓練データが不足していることが原因とされる。
• ICDとcosIPD、sinIPDを組み合わせたモデルが最高の性能（12.4 dB SI-SDRi）を達成し、両特徴が補完的な空間的情報を提供していることが示唆された。
• 学習済みフィルタの可視化から、ICDは主に低周波成分に応答していることが分かっており、IPDとは補完的な空間的ヒントを捉えていることが示された。