[논문 리뷰] Determined BSS based on time-frequency masking and its application to harmonic vector analysis

Kohei Yatabe, Daichi Kitamura|arXiv (Cornell University)|2020. 04. 29.

Speech and Audio Processing참고 문헌 68인용 수 4

한 줄 요약

이 논문은 히어르모닉 벡터 분석(HVA)을 제안하며, 이는 히어르모닉 구조를 향상시키기 위해 섀도우 스파arsity 기반의 시간-주파수 마스크를 사용하는 결정적 빌드-인 소스 분리(BSS) 방법이다. 이 마스크를 플러그 앤 플레이(primal-dual splitting) 프레임워크에 통합함으로써, HVA는 상태 최고 수준의 ILRMA와 유사한 성능을 달성하면서도 계산 비용을 낮추었으며, 특히 음성 및 음악 분리 작업에서 유리하다.

ABSTRACT

This paper proposes harmonic vector analysis (HVA) based on a general algorithmic framework of audio blind source separation (BSS) that is also presented in this paper. BSS for a convolutive audio mixture is usually performed by multichannel linear filtering when the numbers of microphones and sources are equal (determined situation). This paper addresses such determined BSS based on batch processing. To estimate the demixing filters, effective modeling of the source signals is important. One successful example is independent vector analysis (IVA) that models the signals via co-occurrence among the frequency components in each source. To give more freedom to the source modeling, a general framework of determined BSS is presented in this paper. It is based on the plug-and-play scheme using a primal-dual splitting algorithm and enables us to model the source signals implicitly through a time-frequency mask. By using the proposed framework, determined BSS algorithms can be developed by designing masks that enhance the source signals. As an example of its application, we propose HVA by defining a time-frequency mask that enhances the harmonic structure of audio signals via sparsity of cepstrum. The experiments showed that HVA outperforms IVA and independent low-rank matrix analysis (ILRMA) for both speech and music signals. A MATLAB code is provided along with the paper for a reference ( https://doi.org/10.24433/CO.9507820.v1 ).

연구 동기 및 목표

• 시간-주파수 마스크를 기반으로 한 일반적인 BSS 프레임워크를 개발하여, 더 유연한 소스 모델링을 가능하게 한다.
• 기존의 IVA 및 ILRMA와 같은 BSS 방법이 음성 신호 내 히어르모닉 구조를 명시적으로 모델링하는 데에 한계가 있음을 해결한다.
• 페스트럼 스파arsity를 통해 히어르모닉 성분을 강조하는 새로운 BSS 알고리즘인 HVA를 제안하며, 계산 효율성을 유지한다.
• 제안된 마스크 기반 BSS 프레임워크가 마스크 설계를 통해 다양한 소스 사전 지식을 쉽게 통합할 수 있음을 보여준다.
• 반복적 랭크 최적화가 필요 없이 음성 및 음악 신호에서 뛰어난 성능을 발휘하는 ILRMA의 계산 비용을 낮춘 효율적인 대안을 제공한다.

제안 방법

• 논문은 시간-주파수 마스크를 임의로 통합할 수 있는 플러그 앤 플레이 BSS 프레임워크를 제안하며, 이는 프라이멀-듀얼 스플릿 알고리즘 기반이다.
• 독립성 확보를 위해 로그 디터미넌트 항과 소스 특화 마스크에서 유도된 페널티 함수를 조합한 비용 함수를 최소화하여 분리 행렬을 추정한다.
• HVA는 페스트럼 도메인에서의 스파arsity를 통해 히어르모닉 구조를 강조하는 맞춤형 시간-주파수 마스크를 설계하여 구현된다.
• 마스크는 주파수 방향의 푸리에 변환 쌍과 지수 변환을 통해 시간-주파수 표현에서 히어르모닉 성분을 강조한다.
• 최적화는 프록시 스플릿 알고리즘을 사용하여 복잡한 마스크 함수가 존재하더라도 효율적이고 안정적인 수렴을 가능하게 한다.
• 프레임워크는 배치 처리를 지원하며, 복수의 마스크를 조합하여 사용할 수 있어 향후 다기준 소스 분리로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 기존의 IVA 및 ILRMA와 같은 방법보다 시간-주파수 마스크 기반의 일반적인 BSS 프레임워크가 더 뛰어난 소스 모델링의灵活性와 효과를 제공할 수 있는가?
• RQ2 히어르모닉 구조를 강조하는 페스트럼 기반 마스크는 최신 BSS 방법과 비교해 음성 및 음악 신호 분리에서 얼마나 잘 성능을 내는가?
• RQ3 제안된 플러그 앤 플레이 마스크 프레임워크는 최적화 파이프라인 전체를 재설계하지 않고도 새로운 BSS 알고리즘의 효율적이고 모듈화된 개발을 가능하게 하는가?
• RQ4 다중 채널 환경에서 HVA와 ILRMA 간의 반복 시간 및 수렴 속도 측면에서의 계산적 트레이드오프는 어떠한가?
• RQ5 HVA는 비히어르모닉 신호로 일반화될 수 있는가? 이를 확장하기 위해 어떤 수정이 필요한가?

주요 결과

• HVA는 음성 및 음악 분리 작업에서 ILRMA와 유사한 성능을 달성했으며, 200회 반복 설정에서 강한 수렴성과 낮은 오차율을 보였다.
• 2채널 혼합에서 HVA는 λ = 0.08 설정으로 ILRMA의 반복적 스펙트럼 패atters 모델링 능력에도 불구하고 유사한 성능을 보였으며, 효과적인 히어르모닉 모델링를 입증했다.
• 드럼 신호(비히어르모닉)를 포함한 3채널 혼합에서는 IVA가 ILRMA를 능가했지만, HVA 역시 유사한 성능을 달성하여 혼합된 소스 유형에 대한 강건성을 보였다.
• Core i7-8700에서 HVA는 음성 분리에 대해 1회 반복당 60.8ms, 음악 분리에 대해 164.3ms가 소요되어 ILRMA(116.1ms 및 271.2ms)보다 효율적이었으며, IVA보다는 다소 떨어졌다.
• Mixture A 및 B에서 20~50회 반복 내에 더 빠른 수렴을 보였기 때문에, HVA의 총 실행 시간은 ILRMA보다 일반적으로 낮았다.
• 마스크 기반 프레임워크는 복수의 마스크를 조합함으로써 쉽게 확장 가능하며, 이는 이전 연구에서 입증된 바 있어, 향후 다기준 마스크를 통한 향상 잠재력이 매우 높다.