[논문 리뷰] Multi-Geometry Spatial Acoustic Modeling for Distant Speech Recognition

Kenichi Kumatani, Minhua Wu외 3명|arXiv (Cornell University)|2019. 03. 13.

Speech and Audio Processing참고 문헌 30인용 수 4

한 줄 요약

이 논문은 원거리 음성 인식을 위한 다중 기하학적 공간 음향 모델링 프레임워크를 제안하며, 빔포밍과 LSTM 기반 음향 모델링을 통합한다. 여러 배열 기하학에 맞게 빔포머 가중치로 공간 필터링 층을 초기화하고, 이를 LSTM과 함께 공동 최적화함으로써, 훈련 및 테스트 시 마이크 배열 배치가 다를 경우에도 강인한 성능을 달성한다. 단일 채널 시스템 대비 배열 기하학이 일치하는 조건에서 WER을 13.4% 감소시키고, 일치하지 않는 조건에서는 12.7% 감소시켜, 7마이크 배열 기반 전통적 빔포밍보다도 뛰어난 성능을 보였다.

ABSTRACT

The use of spatial information with multiple microphones can improve far-field automatic speech recognition (ASR) accuracy. However, conventional microphone array techniques degrade speech enhancement performance when there is an array geometry mismatch between design and test conditions. Moreover, such speech enhancement techniques do not always yield ASR accuracy improvement due to the difference between speech enhancement and ASR optimization objectives. In this work, we propose to unify an acoustic model framework by optimizing spatial filtering and long short-term memory (LSTM) layers from multi-channel (MC) input. Our acoustic model subsumes beamformers with multiple types of array geometry. In contrast to deep clustering methods that treat a neural network as a black box tool, the network encoding the spatial filters can process streaming audio data in real time without the accumulation of target signal statistics. We demonstrate the effectiveness of such MC neural networks through ASR experiments on the real-world far-field data. We show that our two-channel acoustic model can on average reduce word error rates (WERs) by~13.4 and~12.7% compared to a single channel ASR system with the log-mel filter bank energy (LFBE) feature under the matched and mismatched microphone placement conditions, respectively. Our result also shows that our two-channel network achieves a relative WER reduction of over~7.0% compared to conventional beamforming with seven microphones overall.

연구 동기 및 목표

• 훈련 및 테스트 조건에서 마이크 배열 기하학의 불일치로 인한 원거리 음성 인식 성능 저하 문제를 해결한다.
• 공간 필터링과 음향 모델링을 하나의 엔드 투 엔드 학습 가능한 프레임워크로 통합하여, 배열 구성 변화에 대한 강인성을 향상시킨다.
• 신호 통계 축적을 필요로 하지 않고 실시간 추론을 가능하게 한다. 이는 DNN 마스크 기반 빔포밍과 같은 배치 처리 방법과는 다릅니다.
• 다중 채널 DNN가 여러 빔포머 설정을 통합하고, 마이크 수가 적더라도 전통적 빔포밍을 능가할 수 있음을 보여준다.
• 다양한 실제 배열 기하학에서 뛰어난 ASR 정확도를 달성하기 위해, 동시에 여러 마이크 배열 구성에서 훈련한다.

제안 방법

• 완전 연결 병합을 사용하는 공간 필터 출력과 주파수 타이드 가중치를 사용하는 최대 에너지 선택 방식을 적용한 두 가지 다중 채널(MC) 신경망 아키텍처를 제안한다.
• 다양한 배열 기하학과 시야 방향에 맞게 설계된 빔포머 가중치로 공간 필터링(SF) 층을 초기화하여, 네트워크가 다양한 빔포머 유형을 통합할 수 있도록 한다.
• 계산 효율성을 위해 주로 주파수 도메인에서 처리하며, 파동 전파와 방향성 특성을 모델링하기 위해 복소수 연산을 사용한다.
• ASR 기준을 사용하여 단계적으로 전체 모델을 엔드 투 엔드로 최적화하며, 공간 필터와 LSTM 층을 함께 훈련한다.
• 단일 채널 및 다중 채널 입력 모두에 공통된 특징 추출 및 분류 경로를 사용하며, MC 모델은 사전 훈련된 LFBE 기반 모델에서 초기화한다.
• WTSF 아키텍처에서 주파수 빈도 간에 가중치를 공유하여 파rameter 수를 줄이고, 다양한 배열 구성에 대한 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 정밀한 캘리브레이션 없이도 통합된 딥 뉴럴 네트워크 아키텍처가 다양한 마이크 배열 기하학을 효과적으로 모델링할 수 있는가?
• RQ2 공간 필터링과 음향 모델링을 함께 최적화함으로써, 배열 기하학 불일치 조건에서 ASR 강인성이 향상되는가?
• RQ3 학습 가능한 공간 필터링 층이 마이크 수가 적더라도 기존 빔포밍보다 WER 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ4 테스트 시 배열 구성이 훈련 구성과 다를 경우, 다중 기하학 훈련이 성능에 어떤 영향을 미치는가?
• RQ5 제안된 모델은 신호 통계 축적 없이 스트리밍 오디오를 실시간으로 처리할 수 있는가?

주요 결과

• 두 마이크를 사용하는 다중 기하학 모델은 마이크 기하학이 일치하는 조건에서 단일 채널 LFBE 기반 모델 대비 WER을 13.4% 감소시켰다.
• 기하학이 일치하지 않는 조건에서는 동일한 모델이 12.7%의 상대적 WER 감소를 달성하여, 배열 기하학 변화에 강인함을 입증했다.
• 단지 두 마이크만 사용함에도 불구하고, 7마이크 기반 전통적 빔포밍보다 7.0% 이상의 상대적 WER 감소를 기록하여 슈퍼리어한 성능을 보였다.
• 타이드 가중치와 최대 풀링을 사용하는 WTSF 아키텍처는 완전 연결 병합을 사용하는 ESF보다 약간 더 뛰어난 성능을 보였으며, 특히 기하학 불일치 조건에서 두드러졌다.
• 다양한 배열 구성에서 일관된 성능을 유지하는 반면, 단일 기하학 모델은 테스트 기하학이 훈련 기하학에서 벗어날수록 성능이 크게 떨어졌다.
• DNN 마스크 기반 빔포밍과 달리, 양방향 처리나 신호 통계 축적 없이도 실시간 추론이 가능하다.