[논문 리뷰] Deep Transform: Cocktail Party Source Separation via Probabilistic Re-Synthesis

Andrew Simpson|arXiv (Cornell University)|2015. 03. 20.

Speech and Audio Processing참고 문헌 3인용 수 3

한 줄 요약

이 논문은 단일 및 이앙 음성 혼합물에 대해 훈련된 두 개의 별도 딥 네트워크(DNN)를 사용하여 코ctail party 시나리오를 위한 새로운 소스 분리 방법인 Deep Transform를 제안한다. 이 방법은 확률적 재합성에 시간 도메인 컨volution형 딥 트랜스포트(CDT)를 활용하여 구조적 복잡도를 최소화하면서도 효과적인 분리를 달성하며, 실제 음성 분리 작업에서 뛰어난 성능을 보여준다.

ABSTRACT

In cocktail party listening scenarios, the human brain is able to separate competing speech signals. However, the signal processing implemented by the brain to perform cocktail party listening is not well understood. Here, we trained two separate convolutive autoencoder deep neural networks (DNN) to separate monaural and binaural mixtures of two concurrent speech streams. We then used these DNNs as convolutive deep transform (CDT) devices to perform probabilistic re-synthesis. The CDTs operated directly in the time-domain. Our simulations demonstrate that very simple neural networks are capable of exploiting monaural and binaural information available in a cocktail party listening scenario.

연구 동기 및 목표

• 컴퓨터적 방법을 사용하여 동시 음성 흐름을 분리하여 인간과 유사한 코ctail party 청취를 모델링하는 것.
• 딥 러닝을 사용하여 단일 및 이앙 음성 혼합물에서 겹치는 음성을 분리하는 과제를 해결하는 것.
• 스펙트럼 및 이앙 정보를 모두 활용하는 시간 도메인 신경 처리 프레임워크를 개발하여 소스 분리 성능을 향상시키는 것.
• 간단한 DNN이 단일 및 이앙 정보를 효과적으로 활용하여 강건한 음성 분리를 달성할 수 있음을 보여주는 것.
• 학습된 딥 트랜스포트를 기반으로 한 확률적 재합성 메커니즘을 도입하여 분리 정밀도를 향상시키는 것.

제안 방법

• 두 개의 음성 흐름 혼합물에 대해 단일 및 이앙 혼합물에 대해 별도로 훈련된 컨volution형 오토에인코더 딥 네트워크(DNN)를 사용하는 것.
• 훈련된 DNN들을 컨볼루션형 딥 트랜스포트(CDT) 장치로 사용하여 혼합 신호를 잠재 표현으로 매핑하는 것.
• 잠재 공간에서 개별 음성 소스를 재구성하기 위해 CDT를 역행하여 확률적 재합성 수행하는 것.
• 시간 도메인에서 직접 처리하여 시간 구조를 유지하고 주파수 도메인 접근 방식에서 흔히 발생하는 스펙트럼 잡음 요소를 방지하는 것.
• 이앙 신호(이앙 수준 차이, 시간 지연)를 이앙 DNN를 통해 활용하여 분리 정확도를 향상시키는 것.
• 재구성 과정의 불확실성을 모델링하기 위해 확률적 프레임워크를 적용하여 노이즈 및 겹침에 대한 강건성을 향상시키는 것.

실험 결과

연구 질문

• RQ1 간단한 딥 네트워크가 단일 및 이앙 조건에서 겹치는 음성을 효과적으로 분리할 수 있는가?
• RQ2 시간 도메인 딥 트랜스포트가 소스 분리에 있어 단일 및 이앙 정보를 얼마나 효과적으로 활용할 수 있는가?
• RQ3 확률적 재합성은 분리된 음성 소스의 품질과 이해 가능성에 어떻게 기여하는가?
• RQ4 최소한의 DNN 아키텍처가 코ctail party 시나리오에서 더 복잡한 모델들과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 이앙 정보는 딥 러닝을 사용할 때 분리 성능 향상에 어떤 역할을 하는가?

주요 결과

• 제안된 방법은 단일 및 이앙 혼합물에 대해 훈련된 단지 두 개의 간단한 DNN만을 사용하여 두 개의 동시 음성 흐름을 효과적으로 분리한다.
• 시간 도메인 처리가 세밀한 시간 구조를 유지하여 주파수 도메인 접근 방식에서 흔히 발생하는 잡음 요소를 감소시킨다.
• 이앙 정보의 통합은 단일 음성 모델보다 분리 성능을 크게 향상시킨다.
• 확률적 재합성은 재구성 과정의 불확실성을 모델링하여 강건성과 소스 품질을 향상시킨다.
• 이 방법은 구조적 복잡도를 최소화하면서도 뛰어난 성능을 보이며, 이는 효율성과 확장 가능성의 잠재력을 시사한다.
• 결과는 인간 청각 시스템의 코ctail party 효과가 이 엔드 투 엔드 딥 러닝 프레임워크를 통해 부분적으로 모방될 수 있음을 시사한다.