[논문 리뷰] Distributed Multi-Speaker Voice Activity Detection for Wireless Acoustic Sensor Networks

Mohamad Hasan Bahari, L. Khadidja Hamaidi외 5명|arXiv (Cornell University)|2017. 03. 16.

Speech and Audio Processing참고 문헌 41인용 수 9

한 줄 요약

이 논문은 융합 센터 또는 노드 위치, 마이크 방향, 소스 수에 대한 사전 지식이 필요 없이 무선 음향 센서 네트워크(WASNs)를 위한 분산 다중화자 음성 활성 검출(DM-VAD) 방법을 제안한다. 소스별 노드 클러스터링 방법(LONAS)을 사용해 각 화자 주변의 노드를 식별하고, 두 성분의 곱셈형 비음수 ICA(MNICA)를 적용해 소스별 에너지 분리(unmixing)를 수행하며, 에너지 특징에 대해 K-means 클러스터링을 활용해 VAD를 수행한다. 어려운 20노드, 7소스의 리버버버런트 환경에서 85% 이상의 정확도를 달성하였고, 순차적 처리 모드에서도 성능 저하가 최소한이었다.

ABSTRACT

A distributed multi-speaker voice activity detection (DM-VAD) method for wireless acoustic sensor networks (WASNs) is proposed. DM-VAD is required in many signal processing applications, e.g. distributed speech enhancement based on multi-channel Wiener filtering, but is non-existent up to date. The proposed method neither requires a fusion center nor prior knowledge about the node positions, microphone array orientations or the number of observed sources. It consists of two steps: (i) distributed source-specific energy signal unmixing (ii) energy signal based voice activity detection. Existing computationally efficient methods to extract source-specific energy signals from the mixed observations, e.g., multiplicative non-negative independent component analysis (MNICA) quickly loose performance with an increasing number of sources, and require a fusion center. To overcome these limitations, we introduce a distributed energy signal unmixing method based on a source-specific node clustering method to locate the nodes around each source. To determine the number of sources that are observed in the WASN, a source enumeration method that uses a Lasso penalized Poisson generalized linear model is developed. Each identified cluster estimates the energy signal of a single (dominant) source by applying a two-component MNICA. The VAD problem is transformed into a clustering task, by extracting features from the energy signals and applying K-means type clustering algorithms. All steps of the proposed method are evaluated using numerical experiments. A VAD accuracy of $> 85 \%$ is achieved for a challenging scenario where 20 nodes observe 7 sources in a simulated reverberant rectangular room.

연구 동기 및 목표

• 무선 음향 센서 네트워크(WASNs)에서 분산 다중화자 음성 활성 검출(DM-VAD) 방법의 부재를 해결하기 위해, 분산 음성 강화에 필수적인 기술을 제공하고자 한다.
• 융합 센터, 노드 위치, 마이크 어레이 방향, 활성 소스 수에 대한 사전 지식 없이도 DM-VAD를 가능하게 하고자 한다.
• 스케일러블하고 탈중앙화된 솔루션을 개발하여 공간적 근접성을 활용해 소스 에너지 분리 성능과 VAD 정확도를 향상시키고자 한다.
• 적응형 분산 고유값 분해를 사용해 소스 수 추정과 노드 클러스터링을 통합하는 프레임워크를 제공하고자 한다.

제안 방법

• 에너지 근접도를 기반으로 각 활성 화자 주변의 노드를 식별함으로써 국소적 소스별 처리를 가능하게 하는 분산 소스별 노드 클러스터링 방법(LONAS)을 제안한다.
• 전체 네트워크의 에너지 통계 자료를 바탕으로 활성 소스 수를 추정하기 위해 라소 페널티가 부여된 포isson 일반선형 모델을 사용하는 분산 오디오 소스 수 추정 방법(LAPPO)을 제안한다.
• 각 소스 주변에 클러스터링된 노드에만 두 성분의 곱셈형 비음수 독립성 성분 분석(MNICA)을 적용하여 소스별 에너지 신호를 추출함으로써 분리 성능을 향상시킨다.
• 분리된 에너지 신호에서 특징을 추출하고, K-means 유형의 클러스터링 알고리즘을 적용해 각 소스별 음성 활성 상태를 검출함으로써 음성 활성 검출을 수행한다.
• 모든 처리는 배치 모드와 순차 모드 모두에서 수행되며, 스트리밍 데이터 처리를 위해 증가하는 윈도우와 고정된 슬라이딩 윈도우를 사용한다.
• 모든 구성 요소는 탈중앙화 방식으로 구현되어 국소적 통신과 계산에만 의존하므로 확장성과 내구성이 확보된다.

실험 결과

연구 질문

• RQ1 융합 센터 또는 네트워크 토폴로지에 대한 사전 지식이 없는 WASNs에서 분산 다중화자 음성 활성 검출(DM-VAD) 방법을 설계할 수 있는가?
• RQ2 소스 수가 알려져 있지 않은 상황에서, 소스 수가 증가함에 따라 성능이 저하되는 환경에서 소스별 에너지 신호를 탈중앙화 방식으로 효과적으로 분리할 수 있는가?
• RQ3 공간적 근접도에 기반한 탈중앙화된 노드 클러스터링 전략이 중심화된 방법에 비해 소스 에너지 분리 성능을 향상시킬 수 있는가?
• RQ4 국소적 처리만을 사용하고 중심화된 조율 없이도, 다중소스 및 리버버버런트 환경에서 달성 가능한 VAD 정확도는 어느 정도인가?
• RQ5 순차 모드에서의 DM-VAD 성능은 배치 모드 대비 정확도와 수렴 속도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 DM-VAD는 시뮬레이션된 리버버버런트 직사각형 실내 환경에서 20개 노드와 7개 활성 소스가 포함된 최악의 시나리오에서도 85% 이상의 정확한 결정률(CD)을 달성한다.
• 순차 처리 모드에서도 높은 성능을 유지하며, 배치 모드 대비 최대 6%의 성능 손실만을 보인다.
• 순차 모드에서 증가하는 윈도우를 사용할 경우, 약 300~500프레임(각 30ms)의 음성 프레임 이후 안정된 성능에 도달한다.
• LONAS 클러스터링 방법은 특히 고소스 수 시나리오에서 중심화된 MNICA에 비해 에너지 분리 성능을 크게 향상시킨다.
• 배치 모드 처리에서 K-medoids 클러스터링 알고리즘이 0.04의 최저 등가 오류율(EER)을 기록하여 강력한 VAD 신뢰성을 보였다.
• 모든 소스에서 추가적인 백색 가우시안 노이즈(σ² = 0.01)에 대해 강인성을 입증하였으며, 높은 CD와 낮은 오류 경고 비율을 유지하였다.