[논문 리뷰] Neural Speech Separation Using Spatially Distributed Microphones

Dongmei Wang, Zhuo Chen외 1명|arXiv (Cornell University)|2020. 04. 28.

Speech and Audio Processing참고 문헌 24인용 수 5

한 줄 요약

이 논문은 마이크 수와 배열이 변할 수 있는 공간 분산 마이크를 위한 신경망 음성 분리 방법을 제안한다. 이 방법은 상호 채널 처리를 위한 인터리브드 자기주의(Interleaved Self-attention)와 시간 모델링을 위한 양방향 LSTM(BLSTM) 레이어를 사용하며, 이후 전역 평균 풀링을 통해 시간-주파수 마스크를 추정하여 기준 모델 대비 거리 음성 인식에서 상당한 WER 감소를 달성한다.

ABSTRACT

This paper proposes a neural network based speech separation method using spatially distributed microphones. Unlike with traditional microphone array settings, neither the number of microphones nor their spatial arrangement is known in advance, which hinders the use of conventional multi-channel speech separation neural networks based on fixed size input. To overcome this, a novel network architecture is proposed that interleaves inter-channel processing layers and temporal processing layers. The inter-channel processing layers apply a self-attention mechanism along the channel dimension to exploit the information obtained with a varying number of microphones. The temporal processing layers are based on a bidirectional long short term memory (BLSTM) model and applied to each channel independently. The proposed network leverages information across time and space by stacking these two kinds of layers alternately. Our network estimates time-frequency (TF) masks for each speaker, which are then used to generate enhanced speech signals either with TF masking or beamforming. Speech recognition experimental results show that the proposed method significantly outperforms baseline multi-channel speech separation systems.

연구 동기 및 목표

• 마이크 수와 공간적 배열이 알려져 있지 않거나 변할 수 있는 애드혹 마이크 어레이에서의 다중 채널 음성 분리 과제를 해결한다.
• 알려진 기하학적 구조와 고정된 입력 크기에 의존하는 고정 어레이 신경망의 한계를 극복한다.
• 마이크 수, 순서, 공간적 구성에 대해 불변인 모델을 개발하면서 공간적 및 시간적 상관관계를 모두 활용한다.
• 스마트폰과 같은 분산 장치에서 기록된 실제 음성 자료에서의 자동 음성 인식(ASR) 성능을 향상시킨다.
• 시간-주파수 마스킹과 MVDR beamforming을 사용하여 겹치는 음성 분리의 효과성을 입증한다.

제안 방법

• 채널 간 처리와 시간 처리 레이어를 번갈아 사용하는 새로운 공간-시간 처리 블록을 사용한다.
• 변동 가능한 마이크 수에 걸쳐 공간 정보를 융합하기 위해 채널 차원을 따라 다중 헤드 내적곱 자기주의를 적용한다.
• 채널 간 처리 이후 각 채널의 출력에 대해 양방향 LSTM(BLSTM) 레이어를 사용하여 시간 모델링을 수행한다.
• 다중 공간-시간 블록을 스택하여 점진적으로 공동의 공간-시간 의존성을 포착한다.
• 최종 블록 이후 채널을 따라 전역 평균 풀링을 적용하여 다중 채널 정보를 융합하고 마스크 추정에 사용한다.
• 각 화자에 대해 시간-주파수 마스크를 추정하며, 이는 TF 마스킹 또는 MVDR beamforming에 사용되어 향상된 음성을 생성한다.

Figure 1: Block diagram of proposed model.

실험 결과

연구 질문

• RQ1 알려져 있지 않거나 변동 가능한 마이크 수와 배열을 가진 애드혹 마이크 어레이에서 신경망이 강건한 음성 분리를 달성할 수 있는가?
• RQ2 채널 간 처리와 시간 처리를 번갈아 사용하는 방식이 순차적 처리 방식보다 다중 채널 음성 신호 모델링에서 더 우수한가?
• RQ3 실제 분산 마이크 환경에서 제안된 방법이 기준 시스템 대비 ASR 성능에서 어떻게 비교되는가?
• RQ4 MVDR beamforming에서 참조 채널 선택 오류에 대해 모델의 강건성은 어느 정도인가?
• RQ5 제안된 아키텍처에서 분산 마이크 수를 늘릴수록 성능 향상이 일관되게 이루어지는가?

주요 결과

• 제안된 방법은 MVDR beamforming을 사용할 때 16.11%의 단어 오류률(WER)을 달성하여 다중 스트림 기준 모델(24.18%)과 관계 특징 기준 모델(21.63%)보다 뚜렷이 뛰어난 성능을 보였다.
• TF 마스킹을 사용했을 때 WER는 17.75%로 줄었으며, 다중 스트림 기준 모델의 28.66% 대비 유의미하게 향상되었다.
• 제안된 모델은 다중 스트림 기준 모델보다 채널 선택 오류에 훨씬 덜 민감했으며, 후자는 오라클 조건에서 21.68%에서 무작위 선택 시 30.66%로 WER이 증가했지만, 제안된 모델은 오라클 조건에서 16.71%에서 무작위 선택 시 17.85%로 뿐만 아니라 증가 폭이 훨씬 적었다.
• 제안된 모델은 입력 마이크 수가 많아질수록 성능 향상이 일관되게 이루어졌고, 다중 스트림 기준 모델은 네 개 마이크를 초과해도 성능 향상이 거의 없었다.
• 제거 실험 결과, 인터리브드 구조를 제거하면 WER가 20.89%로 악화되어 공간적 및 시간적 모델링을 번갈아 사용하는 것이 중요하다는 것을 입증했다.
• 모델은 마이크 수와 순서의 변화에 대해 강건했으며, 마이크 수나 순서가 변경되어도 성능 저하가 없었다.

Figure 2: %WERs for different channel numbers.