[논문 리뷰] Structured Sparsity Models for Multiparty Speech Recovery from Reverberant Recordings

Afsaneh Asaei, Mohammad Golbabaee외 2명|arXiv (Cornell University)|2012. 10. 25.

Speech and Audio Processing참고 문헌 35인용 수 5

한 줄 요약

이 논문은 공간, 주파수 및 음향 구조를 활용하여 반향 환경에서 다자간 음성 복원을 위한 구조적 희박성 모델을 제안한다. 가상 소스 영상의 블록 희박성 복원을 통해 실내 기하학적 구조와 흡음 계수를 추정하고, 구조적 희박한 근사 및 역필터링을 통해 정확한 음성 분離 및 인식을 실현한다. 실재 데이터 실험 결과, 3명의 화자 조건에서 최대 79.2%의 단어 인식률을 기록하였다.

ABSTRACT

We tackle the multi-party speech recovery problem through modeling the acoustic of the reverberant chambers. Our approach exploits structured sparsity models to perform room modeling and speech recovery. We propose a scheme for characterizing the room acoustic from the unknown competing speech sources relying on localization of the early images of the speakers by sparse approximation of the spatial spectra of the virtual sources in a free-space model. The images are then clustered exploiting the low-rank structure of the spectro-temporal components belonging to each source. This enables us to identify the early support of the room impulse response function and its unique map to the room geometry. To further tackle the ambiguity of the reflection ratios, we propose a novel formulation of the reverberation model and estimate the absorption coefficients through a convex optimization exploiting joint sparsity model formulated upon spatio-spectral sparsity of concurrent speech representation. The acoustic parameters are then incorporated for separating individual speech signals through either structured sparse recovery or inverse filtering the acoustic channels. The experiments conducted on real data recordings demonstrate the effectiveness of the proposed approach for multi-party speech recovery and recognition.

연구 동기 및 목표

• 직접 경로 신호가 초기 반사에 의해 가려지는 다자간 반향 기록에서 개별 음성 신호를 복원하는 과제를 해결하기 위해.
• 자유공간 모델에서 공간 스펙트럼의 희박한 근사를 통해 가상 소스를 국지화하여 실내 음향을 모델링하기 위해.
• 스펙트로-타임 컴포넌트의 저질서 구조를 활용하여 각 화자별 이미지 집합을 군집화하고 실내 기하학을 추론하기 위해.
• 주파수 대역 간의 공동 희박성을 활용한 볼록 최적화를 통해 흡음 계수를 추정하기 위해.
• 추정된 음향 매개변수를 통합하여 구조적 희박성 복원 또는 역필터링을 통해 강건한 음성 분리 및 인식을 가능하게 하기 위해.

제안 방법

• 실내를 셀의 격자로 분할하여, N명의 화자에 대해 정확히 N개의 비영성 항목을 가진 희박 벡터로 소스 위치를 모델링한다.
• 다중 채널 기록의 공간 스펙트럼을 기반으로 자유공간 모델에서 가상 소스를 국지화하기 위해 희박한 근사를 사용한다.
• 각 화자별로 스펙트로-타임 컴포넌트의 저질서 구조를 활용하여 초기 영상의 군집화를 수행하여 소스 특화 하위공간을 식별한다.
• 주파수 대역 간의 공동 희박성 모델을 설정하여 볼록 최적화를 통해 흡음 계수를 추정한다.
• 추정된 실내 임펄스 응답의 구조적 희박성 복원 또는 역필터링을 통해 개별 음성 신호를 재구성한다.
• 복구 성능 향상을 위해 스펙트럼 계수의 조화성과 시간적 의존성을 통합한다.

실험 결과

연구 질문

• RQ1 공간 및 주파수 구조를 활용함으로써 구조적 희박성 모델이 다자간 반향 환경에서 음성 신호를 효과적으로 복원할 수 있는가?
• RQ2 희박한 근사를 활용하여 초기 가상 소스 영상의 국지화로부터 실내 기하학을 어떻게 추론할 수 있는가?
• RQ3 주파수 대역 간의 공동 희박성이 반향 환경에서 흡음 계수 추정에 얼마나 기여하는가?
• RQ4 구조적 희박성 복원 또는 음향 채널의 역필터링이 다화자 시나리오에서 기존의 빔포밍보다 우수한 성능을 내는가?
• RQ5 조화성과 저질서 스펙트로-타임 컴포넌트와 같은 매개변수적 구조는 음성 복원 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 RAM-SR 방법은 3명의 동시 화자 조건에서 79.21%의 단어 인식률을 기록하여 기준 빔포밍(39.92%)과 RIR-LS(70.88%)를 크게 앞서갔다.
• 3명의 화자 조건에서 RAM-SR의 신호 대 간섭비(SIR)는 14.2 dB에 도달했으며, RIR-LS는 10.1 dB, 기준은 -0.7 dB이었다.
• 3명의 화자 조건에서 청각 평가된 음성 품질(PESQ) 점수는 RAM-SR로 2.62로 상승했으며, 기준은 1.6이었다.
• 9,000건의 문장으로 구성된 MONC 코퍼스를 활용하여 각 벽의 주파수 의존성 흡음 계수를 4 Hz의 해상도로 성공적으로 추정하였다.
• 블록 희박성 복원과 저질서 군집화의 통합은 정확한 실내 기하학 추론과 음성 분리 성능 향상을 가능하게 하였다.
• 실험 결과, 공간, 주파수 및 음향 제약 조건을 통합한 구조적 희박성 모델이 실재 반향 기록에서 음성 복원 성능을 크게 향상시킴을 확인하였다.