[논문 리뷰] Spatial and spectral deep attention fusion for multi-channel speech separation using deep embedding features

Cunhang Fan, Bin Liu외 3명|arXiv (Cornell University)|2020. 02. 05.

Speech and Audio Processing참고 문헌 19인용 수 8

한 줄 요약

이 논문은 다중채널 음성 분리에 대해 공간적 및 스펙트럼적 딥 어텐션 융합 방법을 제안한다. 이는 다중채널 딥 클러스터링(MDC)에서 유도된 딥 임bedding 특징을 활용하고, 비지도 K-means 클러스터링을 지도 학습 기반의 uPIT 네트워크로 대체하여 소프트 마스크를 학습한다. 어텐션 기반 동적 융합을 통해 스펙트럼 및 공간 특징을 융합하고, 실제 분리된 소스에 직접 학습함으로써 MDC 대비 SDR, PESQ, STOI 향상률이 각각 16.0%, 26.1%, 4.4%를 기록하며, 오라클 이상의 이상 이진 마스크(IBM)를 초월하는 성능을 달성한다.

ABSTRACT

Multi-channel deep clustering (MDC) has acquired a good performance for speech separation. However, MDC only applies the spatial features as the additional information. So it is difficult to learn mutual relationship between spatial and spectral features. Besides, the training objective of MDC is defined at embedding vectors, rather than real separated sources, which may damage the separation performance. In this work, we propose a deep attention fusion method to dynamically control the weights of the spectral and spatial features and combine them deeply. In addition, to solve the training objective problem of MDC, the real separated sources are used as the training objectives. Specifically, we apply the deep clustering network to extract deep embedding features. Instead of using the unsupervised K-means clustering to estimate binary masks, another supervised network is utilized to learn soft masks from these deep embedding features. Our experiments are conducted on a spatialized reverberant version of WSJ0-2mix dataset. Experimental results show that the proposed method outperforms MDC baseline and even better than the oracle ideal binary mask (IBM).

연구 동기 및 목표

• 스펙트럼 및 공간 특징 간 상호 관계를 학습하지 못하는 MDC의 한계를 해결하기 위해 딥 어텐션 융합 기반의 메커니즘을 도입한다.
• 임베딩 벡터에 기반한 MDC의 학습 목표 문제(실제 소스가 아닌)를 해결하기 위해 실제 분리된 소스를 학습 타겟으로 사용한다.
• 딥 클러스터링 임베딩과 지도 학습 기반 마스크 학습을 융합하여 반향이 강한 다중화자 환경에서의 음성 분리 성능을 향상시킨다.
• 다양한 화자 성별 조합에 대한 강건성을 향상시키기 위해 분류 기반 미세조정 및 공동 학습을 통해 성능을 향상시킨다.
• 실제 소스 타겟을 직접 사용한 엔드 투 엔드 학습이 기존 MDC 및 오라클 기준선 대비 더 뛰어난 청각적 및 목적적 음성 품질을 제공함을 입증한다.

제안 방법

• 다중마이크로폰 음성 혼합물에서 다중채널 딥 클러스터링(MDC)을 사용해 딥 임베딩 특징을 추출하며, 위상 차이(IPDs)를 공간 특징으로 사용한다.
• 학습 가능한 어텐션 모듈을 적용하여 각 시간-주파수 영역에서 스펙트럼 및 공간 특징에 대한 어텐션 가중치를 동적으로 계산함으로써 적응형 융합을 가능하게 한다.
• 비지도 K-means 클러스터링을 지도 학습 기반의 문장 수준 순열 불변 학습(uPIT) 네트워크로 대체하여 임베딩 특징에서 소프트 마스크를 예측한다.
• 분리된 음성에 대한 재구성 손실과 소스 간 분리도를 극대화하기 위한 분류 기반 학습을 조합한 공동 목표를 사용해 모델을 학습한다.
• 최적의 분리에 도움이 되도록 훈련 중에 이상 진폭 마스크(IAM) 및 이상 위상 민감도 마스크(IPS)를 지도 신호로 사용한다.
• 다른 화자 간 임베딩 분리도를 향상시키기 위해 정규화 파rameter α = 0.1를 사용한 분류 기반 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 딥 어텐션 융합 기반 메커니즘이 다중채널 음성 분리에서 스펙트럼 및 공간 특징 간 동적 상호작용을 효과적으로 학습할 수 있는가?
• RQ2 비지도 K-means 클러스터링을 지도 학습 기반의 uPIT 네트워크로 대체하여 마스크 추정을 수행할 경우 MDC 대비 분리 성능 향상이 이루어지는가?
• RQ3 실제 분리된 소스에 직접 학습하는 것이 임베딩 수준의 목표만으로 학습하는 것보다 더 나은 성능을 낼 수 있는가?
• RQ4 제안된 방법이 SDR, PESQ, STOI 측면에서 오라클 이상의 이상 이진 마스크(IBM) 성능을 초월할 수 있는가?
• RQ5 반향 환경에서 다양한 화자 성별 조합에 대해 제안된 방법의 강건성은 어떠한가?

주요 결과

• 제안된 방법은 MDC 기준선 대비 신호 대 간섭비(SDR)에서 16.0%의 상대적 향상을 기록하여 신호 품질 향상이 뚜렷하게 입증되었다.
• 청각적 음성 품질 평가(PESQ)에서 26.1%의 상대적 향상률을 기록하여 분리된 음성의 이해도 및 자연스러움이 향상되었음을 시사한다.
• 단기 목표 이해도(STOI)에서 4.4%의 상대적 향상률은 더 나은 음성 전송 품질과 명료도를 확인한다.
• 제안된 IPSM 기반 방법은 오라클 이상의 이상 이진 마스크(IBM)를 초월하여, MDC 기준선의 이론적 상한선을 뛰어넘는 일반화 능력을 보임을 의미한다.
• 스펙트로그램 시각화 결과, 제안된 방법은 잔여 노이즈가 강한 영역에서 특히 효과적으로 형주기 및 고조파를 유지하면서 간섭을 억제함을 확인하였다.
• 모든 성별 조합에서 일관된 성능 유지를 보이며, 다양한 화자 구성 환경에서의 강건성과 일반화 능력을 입증하였다.