[論文レビュー] Spatial and spectral deep attention fusion for multi-channel speech separation using deep embedding features

Cunhang Fan, Bin Liu+3 more|arXiv (Cornell University)|Feb 5, 2020

Speech and Audio Processing参考文献 19被引用数 8

ひとこと要約

本稿では、多チャネル音声分離のための空間的・スペクトル的ディープアテンション統合手法を提案する。この手法は、多チャネルディープクラスタリング（MDC）から得られるディープエムベッディング特徴量を活用し、非教師付きK-meansクラスタリングの代わりに教師付きuPITネットワークを用いてソフトマスクを学習する。アテンションメカニズムを用いてスペクトル特徴量と空間特徴量を動的に統合し、実際の分離音源を直接学習ターゲットとして用いることで、MDCベースラインに対してSDR、PESQ、STOIの各指標で16.0%、26.1%、4.4%の向上を達成。さらに、オラクル理想バイナリマスク（IBM）をも上回る性能を示した。

ABSTRACT

Multi-channel deep clustering (MDC) has acquired a good performance for speech separation. However, MDC only applies the spatial features as the additional information. So it is difficult to learn mutual relationship between spatial and spectral features. Besides, the training objective of MDC is defined at embedding vectors, rather than real separated sources, which may damage the separation performance. In this work, we propose a deep attention fusion method to dynamically control the weights of the spectral and spatial features and combine them deeply. In addition, to solve the training objective problem of MDC, the real separated sources are used as the training objectives. Specifically, we apply the deep clustering network to extract deep embedding features. Instead of using the unsupervised K-means clustering to estimate binary masks, another supervised network is utilized to learn soft masks from these deep embedding features. Our experiments are conducted on a spatialized reverberant version of WSJ0-2mix dataset. Experimental results show that the proposed method outperforms MDC baseline and even better than the oracle ideal binary mask (IBM).

研究の動機と目的

• スペクトル特徴量と空間特徴量の間の相互関係を学習できないMDCの制限を、ディープアテンション統合機構の導入により克服する。
• エムベッディングベクトルではなく実際の音源に基づいて定義されるMDCの学習目的の問題を、実際の分離音源を学習ターゲットとして用いることで解決する。
• ディープクラスタリングのエムベッディングと教師付きマスク学習を組み合わせることで、混雑・リバーブ環境下における音声分離性能を向上させる。
• 識別的ファインチューニングと統合学習を用いて、異なる話者性別の組み合わせに対しても耐性を高める。
• 実際の音源ターゲットを用いたエンドツーエンド学習が、従来のMDCおよびオラクルベースラインを上回る知覚的・客観的音声品質を達成することを示す。

提案手法

• 多チャネルディープクラスタリング（MDC）を用いて、多マイク音声混合からディープエムベッディング特徴量を抽出し、位相差（IPDs）を空間特徴量として用いる。
• 学習可能なアテンションモジュールを適用し、各時周波数チャンクでスペクトル特徴量と空間特徴量のためのアテンション重みを動的に計算することで、適応的な統合を実現する。
• 非教師付きK-meansクラスタリングの代わりに、エムベッディング特徴量からソフトマスクを予測する教師付き発話レベルの順列不変訓練（uPIT）ネットワークを導入する。
• 分離音声の再構成誤差と、話者間分離を最大化する識別的学習を統合した目的関数を用いてモデルを学習する。
• ネットワークが最適な分離に近づくように誘導するため、訓練中に理想振幅マスク（IAM）および理想位相感受性マスク（IPSM）を監督信号として用いる。
• 異なる話者間のエムベッディング分離を強化するために、正則化パrameter α = 0.1を用いた識別的ファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 多チャネル音声分離において、ディープアテンション統合機構はスペクトル特徴量と空間特徴量の動的相互作用を効果的に学習できるか？
• RQ2 非教師付きK-meansクラスタリングを教師付きuPITネットワークに置き換えることで、MDCと比較して分離性能が向上するか？
• RQ3 実際の分離音源を直接学習ターゲットとして用いることで、エムベッディングレベルの目的関数のみで学習する場合よりも優れた結果が得られるか？
• RQ4 提案手法は、SDR、PESQ、STOIの観点で、オラクル理想バイナリマスク（IBM）の性能を上回ることができるか？
• RQ5 リバーブ環境下で、さまざまな話者性別の組み合わせに対して、提案手法はどれほど耐性を示すか？

主な発見

• 提案手法はMDCベースラインに対して16.0%の相対的SDR向上を達成し、信号品質の顕著な向上を示した。
• PESQ（音声品質の知覚的評価）で26.1%の相対的向上を記録し、分離音声の明瞭さと自然さが優れていることを示した。
• STOI（短時間目的的明瞭度）で4.4%の相対的向上を確認し、より良い音声伝送品質と明瞭度を示した。
• IPSMに基づく提案手法は、オラクル理想バイナリマスク（IBM）をも上回り、MDCベースラインの理論的上限をも凌駕する一般化性能を示した。
• スペクトログラムの可視化から、提案手法は残留ノイズが強い領域でもフォルマントや高調波を効果的に保持するとともに、干渉成分を抑制していることが確認された。
• 全性別組み合わせにおいて一貫した性能を維持しており、多様な話者構成下でも耐性と一般化能力を示した。