[논문 리뷰] Multi-Speaker Localization Using Convolutional Neural Network Trained with Noise

Soumitro Chakrabarty, Emanuël A. P. Habets|arXiv (Cornell University)|2017. 12. 12.

Speech and Audio Processing참고 문헌 12인용 수 36

한 줄 요약

이 논문은 시간-주파수 도메인에서 별도의 화자 활동을 가정할 때, 합성된 노이즈 신호를 사용하여 훈련하는 컨볼루션 신경망(CNN) 기반의 다중 화자 도래각(DOA) 추정 방법을 제안한다. 이 방법은 시뮬레이션된 반향성 및 노이즈 있는 환경에서 SRP-PHAT보다 낮은 평균 절대 오차를 달성하여, 최소한의 후처리로도 뛰어난 성능과 강건성을 입증한다.

ABSTRACT

The problem of multi-speaker localization is formulated as a multi-class multi-label classification problem, which is solved using a convolutional neural network (CNN) based source localization method. Utilizing the common assumption of disjoint speaker activities, we propose a novel method to train the CNN using synthesized noise signals. The proposed localization method is evaluated for two speakers and compared to a well-known steered response power method.

연구 동기 및 목표

• 기존 방법이 열악한 환경에서 성능이 저하되는 반향성 및 노이즈 있는 환경에서 다중 화자 DOA 추정의 과제를 해결하기 위해.
• 실세계 데이터 대신 합성된 노이즈 신호를 사용하여 딥 러닝 모델의 대규모 훈련을 가능하게 하기 위해.
• 시간-주파수 도메인에서의 W-독립 수직성 가정(독립된 활동)을 활용하여 혼합 신호에 대해 CNN을 효과적으로 훈련시키기 위해.
• 합성 훈련 데이터에서 다양한 DOA 조합을 가능하게 하면서도 마이크 간 단일 위상 관계를 유지하는 데이터 생성 전략을 개발하기 위해.
• 실제와 다름없는 음향 조건에서 강력한 베이스라인(SRP-PHAT)과의 성능 비교를 위해.

제안 방법

• DOA 추정 문제는 37개의 이산 DOA 클래스(5° 해상도)를 가진 다중 클래스 다중 레이블 분류 문제로 공식화된다.
• CNN의 입력은 STFT 계수의 위상 맵으로, M×K 행렬(M개의 마이크, K개의 주파수 대역)로 표현되며, 마이크 간 위상 상관관계를 유지한다.
• 각 주파수 대역에서 인접한 마이크 간 위상 차이를 학습하기 위해 2×1 국소 필터 아키텍처를 사용하여 DOA에 대한 민감도를 향상시킨다.
• 최종 레이어에서 시그모이드 활성화 함수를 사용하여 각 시간 프레임에서 다중 DOA 예측이 가능하게 하여 다중 화자 탐지를 가능하게 한다.
• 훈련 데이터는 서로 다른 DOA를 가진 두 개의 단일 화자 노이즈 신호를 연결하여 생성되며, 각 주파수 대역에서 시간-주파수 영역을 무작위로 재배열하여 혼합된, 별도 활동이 이루어진 신호를 시뮬레이션한다.
• 무작위화 과정은 각 TF 영역 내에서 마이크 간 위상 일관성을 유지하고 주파수 대역 순서를 유지함으로써, 각 시간 프레임이 오직 한 원천의 신호만 포함되도록 보장한다.

실험 결과

연구 질문

• RQ1 합성 노이즈 신호로 훈련된 CNN이 반향성 및 노이즈 있는 환경에서 강건한 다중 화자 DOA 추정을 달성할 수 있는가?
• RQ2 시간-주파수 도메인에서의 W-독립 수직성 가정이 실제 혼합 데이터 없이도 혼합 신호에 대해 CNN을 효과적으로 훈련시키는 데 기여하는가?
• RQ3 불일치하는 음향 조건 하에서 노이즈로 훈련된 CNN의 성능이 잘 알려진 SRP-PHAT 방법보다 어떻게 비교되는가?
• RQ4 CNN이 별도 활동 조건 하에서 마이크 간 위상 상관관계를 학습함으로써 다중 DOA를 식별하는 능력이 어느 정도 향상되는가?
• RQ5 SNR 수준의 변화가 CNN의 추정 정확도에 미치는 영향은 SRP-PHAT와 비교해 어떻게 나타나는가?

주요 결과

• 합성 노이즈 신호로 훈련된 CNN은 30 dB SNR에서 평균 절대 오차(MAE)가 1.8°를 기록하여, 동일 조건에서 SRP-PHAT의 MAE 18.2°보다 유의미하게 뛰어난 성능을 보였다.
• 20 dB SNR에서 CNN은 6.1°의 MAE를 기록했고, SRP-PHAT는 21.6°를 기록하여, 다양한 SNR 수준에서 일관된 우월성을 입증했다.
• 10 dB SNR에서 CNN은 14.3°의 MAE를 기록했고, SRP-PHAT는 27.1°를 기록하여, 저SNR 조건에서도 CNN의 강건성을 입증했다.
• CNN의 출력 분포는 진짜 DOA 위치에 명확하고 날카로운 피크를 보였고, SRP-PHAT는 더 평평하고 구분성이 떨어지는 분포를 보여 성능 격차를 설명했다.
• 복잡한 빔포밍이나 클러스터링이 필요 없이, 단순한 후처리와 함께 프레임 수준의 사후 확률만으로도 두 화자 모두를 성공적으로 국소화했다.
• 결과적으로, 무작위화 기반 데이터 생성을 통해 별도 활동이 암묵적으로 유지됨에 따라, CNN이 혼합된 신호에서도 위상 차이를 기반으로 DOA를 효과적으로 학습했음을 시사한다.