[논문 리뷰] Nonnegative Tensor Factorization for Directional Blind Audio Source Separation

Noah D. Stein|arXiv (Cornell University)|2014. 11. 18.

Speech and Audio Processing참고 문헌 11인용 수 4

한 줄 요약

이 논문은 소형의 하향파장 마이크로폰 어레이에서 방향성 도래각(DOA) 추정치를 활용하여 학습 데이터가 필요 없이도 분리 품질을 향상시키는 빔형성 기반의 빈도별 음향 소스 분리 기법인 방향성 비음수 텐서 분해(Directional NTF)를 제안한다. 각 소스별로 공유되는 방향 분포를 통해 공간 일관성을 강제함으로써, 표준 NMF 대비 두 배 수준의 실행 시간 증가만으로도 기존 빔형성 기법이 실패하는 밀리미터 크기의 어레이에서도 효과적인 분리를 가능하게 한다.

ABSTRACT

We augment the nonnegative matrix factorization method for audio source separation with cues about directionality of sound propagation. This improves separation quality greatly and removes the need for training data, with only a twofold increase in run time. This is the first method which can exploit directional information from microphone arrays much smaller than the wavelength of sound, working both in simulation and in practice on millimeter-scale microphone arrays.

연구 동기 및 목표

• 소형·밀집 마이크로폰 어레이에서 기존 빔형성 기법이 하향파장 간격으로 인해 실패하는 상황에서 빈도별 음향 소스 분리 문제를 해결한다.
• DOA 추정치를 활용해 시간-주파수 영역 별 방향 정보를 통합함으로써 표준 NMF보다 분리 품질을 향상시킨다.
• 청결한 훈련 데이터가 확보되지 않는 실세계 적용을 위해 훈련 없이(비지도로) 소스 분리를 가능하게 한다.
• 모의 실험과 실제 환경 설정에서 밀리미터 크기의 MEMS 마이크로폰 어레이에서 Directional NTF의 실현 가능성과 효율성을 입증한다.
• 진폭 차이나 넓은 간격에 의존하는 기존 방법들인 DUET, ICA, 빔형성 기반 접근법의 한계를 극복한다.

제안 방법

• 시간 $t$, 주파수 $f$, 방향 $d$ 에서의 에너지 분포를 나타내는 삼차원 텐서 $X(f,t,d)$ 를 구성하며, $d$ 는 각 시간-주파수 영역 별 DOA 추정치로부터 유도된다.
• 비음수 텐서 분해를 적용하여 $X(f,t,d) \triangleq \text{sum}_{s,z} B(d,s) W(f,z,s) H(t,z,s)$ 로 분해한다. 여기서 $B(d,s)$ 는 소스 $s$ 의 공간 분포를 모델링하며, $W(f,z,s)$ 는 스펙트럼 사전자, $H(t,z,s)$ 는 시간 활성도를 의미한다.
• 각 소스의 스펙트럼 성분이 방향에서 일치하도록 보장하기 위해 $B(d,s)$ 가 사전자 구성 요소 색인 $z$ 와 독립적이게 제약 조건을 설정함으로써 공간 일관성을 강제한다.
• 각 소스별로 방향 분포를 $q_{\theta_s}(d|s)$ 의 제약된 매개수 형태로 설정하고, 자연 매개수 학습률 $\lambda=2$ 를 사용해 경사 하강법으로 학습한다.
• 복잡한 라그랑주 승수를 피하기 위해 교대 최소 제곱법과 확률적 추론을 활용해 알고리즘을 효율적으로 구현한다.
• 마이크로폰 어레이 전역에서 위상 차이를 최소 제곱법으로 피팅함으로써 DOA 추정을 통합함으로써, 3mm×5mm 와 같은 소형 어레이에서도 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 하향파장 마이크로폰 어레이에서의 방향성 신호를 훈련 데이터 없이 효과적으로 활용해 빈도별 음향 소스 분리를 가능하게 할 수 있는가?
• RQ2 NTF 분해 과정에서 공간 일관성을 강제할 경우, 제약 조건이 없거나 덜 구조화된 방법에 비해 분리 품질이著명하게 향상되는가?
• RQ3 방향성 NTF의 성능은 청각 품질과 객관적 지표 측면에서 지도 학습 기반 NMF 및 기타 최신 기법과 비교해 어떻게 되는가?
• RQ4 빔형성 기법이 효과를 발휘하지 못하는 실세계 밀리미터 크기의 마이크로폰 어레이에서도 고품질 분리를 달성할 수 있는가?
• RQ5 각 사전자 구성 요소별로 방향성을 모델링하는 것과 소스별로 공유되는 분포($B(d,s)$)를 모델링하는 것의 영향은 어떠한가?

주요 결과

• Directional NTF 는 SDR, SIR, SDRi, SIRi 와 같은 표준 평가 기준 전반에서 NMF, Directional NMF [15], 심지어 지도 학습 기반 NMF 를 능가하는 BSS_EVAL 지표를 확보하였으며, 시뮬레이션에서 SDRi 점수는 10.4% 로 기록하였다.
• 청결한 훈련 데이터 없이도 지도 학습 기반 NMF 보다 청각적 품질이 뛰어나며, NMF 대비 런타임이 2.2배 뿐만 증가하였다.
• 실제 3mm×5mm MEMS 마이크로폰 어레이에서 Directional NTF 는 동시에 3명의 화자 분리를 성공적으로 수행하였으며, 오디오 출력 및 스펙트로그램은 보충 자료에서 제공된다.
• 학습률 $\lambda=2$ 를 사용한 제약된 $q_{\theta_s}(d|s)$ 모델은 제약이 없는 버전보다 유의미하게 뛰어난 성능을 보이며, 체계적인 방향 모델링의 중요성을 입증한다.
• 시뮬레이션 결과, Directional NTF 는 평균 SDRi 10.4% 와 SDR 13.7% 를 기록하였으며, 다음으로 우수한 성능을 보인 방법(지도 학습 기반 NMF)보다 SDR 에서 3 dB 이상, SDRi 에서 2.5 dB 이상 우수하였다.
• DOA 추정치가 열악한 경우에도 NTF 모델의 구조적 제약 덕분에 부적절한 소스 혼합을 방지함으로써 성능이 유지된다.