[논문 리뷰] Scaling sparsemax based channel selection for speech recognition with ad-hoc microphone arrays

Junqi Chen, Xiao-Lei Zhang|arXiv (Cornell University)|2021. 03. 28.

Speech and Audio Processing참고 문헌 20인용 수 7

한 줄 요약

이 논문은 대규모 임의의 마이크 배열을 사용한 멀티채널 엔드 투 엔드 음성 인식을 위한 새로운 채널 선택 방법인 Scaling Sparsemax를 제안한다. 스트림 어텐션 내의 Softmax 연산자를 Scaling Sparsemax로 대체함으로써, 모델은 오직 가장 손상된 채널들만 선택적으로 억제하면서도 유용한 채널들은 유지한다. 시뮬레이션 데이터에서 Softmax 대비 30% 이상의 상대적 WER 감소를 달성하였고, 반가소한 데이터 환경에서는 오라클 일대일 기준보다도 뛰어난 성능을 보였다.

ABSTRACT

Recently, speech recognition with ad-hoc microphone arrays has received much attention. It is known that channel selection is an important problem of ad-hoc microphone arrays, however, this topic seems far from explored in speech recognition yet, particularly with a large-scale ad-hoc microphone array. To address this problem, we propose a Scaling Sparsemax algorithm for the channel selection problem of the speech recognition with large-scale ad-hoc microphone arrays. Specifically, we first replace the conventional Softmax operator in the stream attention mechanism of a multichannel end-to-end speech recognition system with Sparsemax, which conducts channel selection by forcing the channel weights of noisy channels to zero. Because Sparsemax punishes the weights of many channels to zero harshly, we propose Scaling Sparsemax which punishes the channels mildly by setting the weights of very noisy channels to zero only. Experimental results with ad-hoc microphone arrays of over 30 channels under the conformer speech recognition architecture show that the proposed Scaling Sparsemax yields a word error rate of over 30% lower than Softmax on simulation data sets, and over 20% lower on semi-real data sets, in test scenarios with both matched and mismatched channel numbers.

연구 동기 및 목표

• 원거리 음성 인식을 위한 대규모 임의의 마이크 배열에서 채널 선택 문제에 대해 아직 탐색되지 않은 과제를 해결하기 위해.
• 신호 품질 지표(예: SNR)에 의존하지 않고, 직접적으로 인식 수준의 지표를 최적화하여 자동 음성 인식(ASR) 성능을 향상시키기 위해.
• 30개 이상의 마이크를 포함한 배열을 처리할 수 있는 확장 가능한, 미분 가능한 채널 선택 메커니즘을 개발하기 위해.
• 두 단계의 방식으로 시스템을 훈련하기 위해: 먼저 청소된 데이터로 단일 채널 conformer를 훈련하고, 그 다음에 다중 채널 노이지 데이터로 스트림 어텐션을 훈련하여 채널 선택을 학습하기 위해.
• 모의 환경과 반가소한 환경 양쪽에서 기존의 Softmax 및 채널 선택 기준선(포함하여 오라클 일대일 방법)을 초월하는 성능을 달성하기 위해.

제안 방법

• 노이지 채널의 가중치를 0으로 설정함으로써 채널 선택을 가능하게 하기 위해 스트림 어텐션 메커니즘 내의 Softmax 연산자를 Sparsemax로 대체한다.
• 과도한 처벌을 방지하기 위해 가장 손상된 채널들만의 가중치를 0으로 설정하는, 미분 가능하고 경미한 채널 프루닝 방법인 Scaling Sparsemax를 제안한다.
• 두 단계 훈련 전략을 설계한다: 청소된 Librispeech 데이터로 단일 채널 conformer를 사전 훈련한 후, 임의의 마이크 배열에서 유래한 다중 채널 노이지 데이터로 스트림 어텐션을 미세 조정한다.
• 에코더와 디코더 양쪽 모두에 다중 헤드 어텐션을 포함한 conformer 기반 ASR 아키텍처를 사용하고, 스트림 어텐션 모듈을 통합하여 다중 채널의 특징을 재가중하고 융합한다.
• 다중 채널 노이지 데이터를 사용하여 스트림 어텐션 모듈을 훈련하여 최적의 채널 가중치를 학습한다. 이때 디코더의 은닉 상태에서 유도된 가이드 벡터를 쿼리 입력으로 사용한다.
• 데이터 증강을 위해 SpecAugment를 사용하고, 추론 시 언어 모델 없이 그레디 디코딩을 적용한다.

실험 결과

연구 질문

• RQ1 미분 가능하고 어텐션 기반의 채널 선택 메커니즘이 대규모 임의의 마이크 배열에서 ASR 성능을 향상시킬 수 있는가?
• RQ2 스트림 어텐션 내에서 Softmax를 Sparsemax 또는 Scaling Sparsemax로 대체할 경우, 기존의 Softmax나 오라클 일대일 선택보다 더 낮은 WER을 달성할 수 있는가?
• RQ3 제안된 방법은 채널 수가 불일치하는 상황(예: 16채널 훈련에 30채널 테스트)에서 어떻게 성능을 내는가?
• RQ4 Scaling Sparsemax는 가장 가까운 마이크를 정확히 안다는 가정이 있는 오라클 일대일 기준보다 뛰어날 수 있는가?
• RQ5 청소된 데이터로 사전 훈련한 후에 노이지 다중 채널 데이터로 미세 조정하는 두 단계 훈련 전략이 모델 수렴과 성능 향상에 기여하는가?

주요 결과

• 모의 Libri-adhoc-simu 데이터셋에서 30채널 테스트 데이터를 사용한 'test-clean' 세트에서 Scaling Sparsemax는 Softmax 대비 33.90%의 상대적 WER 감소를 달성하였다.
• 반가소한 Libri-adhoc40 데이터셋에서 20채널 테스트 시나리오에서는 Scaling Sparsemax가 오라클 일대일 기준 대비 17.4%의 상대적 WER 감소를 기록하였다.
• Libri-adhoc40에서 30채널 불일치 테스트 시나리오에서는 오라클 기준 대비 14.2%의 상대적 WER 감소를 달성하였다.
• 30채널 시뮬레이션 테스트에서 Scaling Sparsemax는 Softmax 대비 30% 이상의 상대적 WER 감소를 기록하여, 대규모 배열에서의 채널 선택의 효과성을 입증하였다.
• 시각화 결과에 따르면, Softmax는 채널 재가중만 수행하지만, Sparsemax는 많은 채널을 과도하게 처벌하는 반면, Scaling Sparsemax는 오직 가장 손상된 채널들만 선택적으로 억제하여 최적의 성능을 달성함을 확인하였다.
• 두 단계 훈련 전략은 매우 노이지가 심한 채널을 포함할 경우 훈련 실패를 방지하였고, 채널 수가 불일치하는 상황에서도 일반화 성능을 향상시켰다.