[论文解读] FastFCA: A Joint Diagonalization Based Fast Algorithm for Audio Source Separation Using A Full-Rank Spatial Covariance Model

Nobutaka Ito, Shoko Araki+1 more|arXiv (Cornell University)|May 17, 2018

Blind Source Separation Techniques参考文献 6被引用 10

一句话总结

本文提出 FastFCA，一种基于满秩空间协方差模型的计算高效音频源分离算法，通过广义特征值问题对空间协方差矩阵进行联合对角化，消除昂贵的逐帧矩阵求逆与矩阵乘法操作。该方法相较传统 FCA 实现超过 250 倍的加速，性能损失可忽略不计，在双源情况下保持近乎相同的源分离质量。

ABSTRACT

A source separation method using a full-rank spatial covariance model has been proposed by Duong et al. ["Under-determined Reverberant Audio Source Separation Using a Full-rank Spatial Covariance Model," IEEE Trans. ASLP, vol. 18, no. 7, pp. 1830-1840, Sep. 2010], which is referred to as full-rank spatial covariance analysis (FCA) in this paper. Here we propose a fast algorithm for estimating the model parameters of the FCA, which is named Fast-FCA, and applicable to the two-source case. Though quite effective in source separation, the conventional FCA has a major drawback of expensive computation. Indeed, the conventional algorithm for estimating the model parameters of the FCA requires frame-wise matrix inversion and matrix multiplication. Therefore, the conventional FCA may be infeasible in applications with restricted computational resources. In contrast, the proposed FastFCA bypasses matrix inversion and matrix multiplication owing to joint diagonalization based on the generalized eigenvalue problem. Furthermore, the FastFCA is strictly equivalent to the conventional algorithm. An experiment has shown that the FastFCA was over 250 times faster than the conventional algorithm with virtually the same source separation performance.

研究动机与目标

• 为解决传统满秩空间协方差分析（FCA）因依赖逐帧矩阵求逆与乘法操作而导致的高计算成本问题。
• 开发一种与 FCA 等价的快速替代方法，在显著降低运行时间的同时保持源分离精度。
• 实现实时部署 FCA 于资源受限的应用场景，如助听器和在线语音增强。
• 利用空间协方差矩阵的联合对角化，将昂贵的矩阵运算替换为标量运算。
• 证明所提出的 FastFCA 在双源情况下与传统 FCA 严格等价，确保无性能下降。

提出的方法

• FastFCA 用空间协方差矩阵的联合对角化替代 FCA 中的逐帧矩阵求逆与乘法操作。
• 联合对角化通过求解涉及两个源空间协方差矩阵的广义特征值问题实现。
• 该方法利用了在双源情况下可实现精确联合对角化的事实，从而将矩阵运算转化为对角元素上的标量运算。
• 该算法通过保持与传统 FCA 相同的期望最大化框架（EM）实现严格等价，但避免了计算量巨大的矩阵运算。
• 空间协方差矩阵建模为 $ \mathbf{R}_j(n,f) = v_j(n,f)\mathbf{S}_j(f) $，其中 $ \mathbf{S}_j(f) $ 为时不变的满秩矩阵，$ v_j(n,f) $ 为时变功率谱。
• EM 算法用于估计 $ v_j(n,f) $ 和 $ \mathbf{S}_j(f) $，但其关键创新在于通过广义特征值分解快速计算逆矩阵与乘积项。

实验结果

研究问题

• RQ1 是否能显著降低满秩空间协方差分析（FCA）的计算成本，同时不降低源分离性能？
• RQ2 是否能够用更高效的代数变换替代 FCA 中的逐帧矩阵求逆与乘法操作？
• RQ3 通过广义特征值问题对空间协方差矩阵进行联合对角化，是否能在双源情况下实现与传统 FCA 完全等价的精确计算？
• RQ4 在实际应用中，特别是实时或嵌入式系统中，FCA 的计算复杂度可降低到何种程度？
• RQ5 所提出的 FastFCA 在相同条件下是否保持与传统 FCA 相同的源分离质量？

主要发现

• FastFCA 的计算速度相较传统 FCA 提升超过 250 倍，同时保持几乎完全相同的源分离性能。
• FastFCA 的实时因子（RTF）显著低于传统 FCA，表明其在实时应用中具有很强的适用性。
• FastFCA 的信噪比（SDR）性能与传统 FCA 几乎完全一致，实验中仅观察到微小差异。
• 所提方法在双源情况下与传统 FCA 严格等价，这一点通过似然最大化过程的等价性得到验证。
• 通过广义特征值问题实现的空间协方差矩阵联合对角化，成功消除了逐帧矩阵求逆与乘法操作，从而实现显著加速。
• 该方法目前仅限于双源场景，将扩展至多源场景被列为未来工作。