[논문 리뷰] FastFCA: A Joint Diagonalization Based Fast Algorithm for Audio Source Separation Using A Full-Rank Spatial Covariance Model

Nobutaka Ito, Shoko Araki외 1명|arXiv (Cornell University)|2018. 05. 17.

Blind Source Separation Techniques참고 문헌 6인용 수 10

한 줄 요약

이 논문은 전체 질량 공간 공분산 모델을 사용한 음성 소스 분리에 대해 계산적으로 효율적인 FastFCA를 제안한다. 일반화 고유값 문제를 통한 공간 공분산 행렬의 동시 대각화를 활용하여, 비용이 많이 드는 프레임 단위 행렬 역행렬과 곱셈 연산을 제거한다. 이로 인해 기존 FCA 대비 250배 이상의 속도 향상을 달성하면서 성능 손실는 거의 없으며, 이중 소스 케이스에서는 거의 동일한 소스 분리 품질을 유지한다.

ABSTRACT

A source separation method using a full-rank spatial covariance model has been proposed by Duong et al. ["Under-determined Reverberant Audio Source Separation Using a Full-rank Spatial Covariance Model," IEEE Trans. ASLP, vol. 18, no. 7, pp. 1830-1840, Sep. 2010], which is referred to as full-rank spatial covariance analysis (FCA) in this paper. Here we propose a fast algorithm for estimating the model parameters of the FCA, which is named Fast-FCA, and applicable to the two-source case. Though quite effective in source separation, the conventional FCA has a major drawback of expensive computation. Indeed, the conventional algorithm for estimating the model parameters of the FCA requires frame-wise matrix inversion and matrix multiplication. Therefore, the conventional FCA may be infeasible in applications with restricted computational resources. In contrast, the proposed FastFCA bypasses matrix inversion and matrix multiplication owing to joint diagonalization based on the generalized eigenvalue problem. Furthermore, the FastFCA is strictly equivalent to the conventional algorithm. An experiment has shown that the FastFCA was over 250 times faster than the conventional algorithm with virtually the same source separation performance.

연구 동기 및 목표

• 기존 전체 질량 공간 공분산 분석(FCA)이 프레임 단위 행렬 역행렬과 곱셈에 의존하여 높은 계산 비용을 유발하는 문제를 해결하기 위해.
• 소스 분리 정확도를 유지하면서 런타임을 극적으로 줄이는, FCA의 빠른 등가 대체 방법을 개발하기 위해.
• 청각 보조기기 및 온라인 음성 향상과 같은 자원 제약이 있는 애플리케이션에서 FCA의 실시간 구현을 가능하게 하기 위해.
• 공간 공분산 행렬의 동시 대각화를 활용하여 고비용 행렬 연산을 스칼라 연산으로 대체하기 위해.
• 제안된 FastFCA가 이중 소스 케이스에서 기존 FCA와 엄밀히 동일한 성능을 보임을 입증하여 성능 저하가 없음을 보장하기 위해.

제안 방법

• FastFCA는 FCA의 프레임 단위 행렬 역행렬과 곱셈을 소스 신호 공간 공분산 행렬의 동시 대각화로 대체한다.
• 이 동시 대각화는 두 소스의 공간 공분산 행렬을 포함하는 일반화 고유값 문제를 풀어 구현된다.
• 이 방법은 이중 소스 케이스에서 정확한 동시 대각화가 가능하므로, 행렬 연산을 대각선 원소에 대한 스칼라 연산으로 전환할 수 있다.
• 알고리즘은 EM을 통한 동일한 우도 최대화 프레임워크를 유지함으로써 기존 FCA와 엄밀히 동일한 성질을 유지하지만, 계산 비용이 높은 행렬 연산을 피한다.
• 공간 공분산 행렬은 $ \mathbf{R}_j(n,f) = v_j(n,f)\mathbf{S}_j(f) $로 모델링되며, 여기서 $ \mathbf{S}_j(f) $는 시간 불변의 전질량 행렬이고 $ v_j(n,f) $는 시간 변화하는 전력 스펙트럼이다.
• EM 알고리즘을 사용하여 $ v_j(n,f) $와 $ \mathbf{S}_j(f) $를 추정하지만, 핵심 혁신은 일반화 고유값 분해를 통한 역행렬 및 곱셈 항의 빠른 계산에 있다.

실험 결과

연구 질문

• RQ1 전체 질량 공간 공분산 분석(FCA)의 계산 비용을 성능 저하 없이 크게 줄일 수 있는가?
• RQ2 FCA의 프레임 단위 행렬 역행렬과 곱셈을 더 효율적인 대수적 변환으로 대체할 수 있는가?
• RQ3 일반화 고유값 문제를 통한 공간 공분산 행렬의 동시 대각화가 이중 소스 케이스에서 기존 FCA와 정확히 동일한 계산을 가능하게 하는가?
• RQ4 실제로, 특히 실시간 또는 임베디드 애플리케이션에서 FCA의 계산 복잡도를 어느 정도 줄일 수 있는가?
• RQ5 제안된 FastFCA는 동일 조건에서 기존 FCA와 동일한 소스 분리 품질을 유지하는가?

주요 결과

• FastFCA는 기존 FCA 대비 250배 이상 빠른 계산을 달성하면서도 거의 동일한 소스 분리 성능을 유지한다.
• FastFCA의 실시간 인자(RTF)는 기존 FCA보다 크게 낮아 실시간 응용에 매우 적합함을 시사한다.
• FastFCA의 신호 대 간섭비(SDR) 성능은 기존 FCA와 거의 동일했으며, 실험에서 미세한 차이만 관찰되었다.
• 제안된 방법은 등장하는 소스 수가 두 개인 경우 기존 FCA와 엄밀히 동일하다. 이는 우도 최대화 과정이 동일함으로써 확인되었다.
• 일반화 고유값 문제를 통한 동시 대각화를 통해 프레임 단위 행렬 역행렬과 곱셈을 제거함으로써 극적인 속도 향상이 가능해졌다.
• 이 방법은 현재까지 이중 소스 시나리오에 국한되어 있으며, 향후 다중 소스로의 확장은 향후 작업으로 지정되어 있다.