[논문 리뷰] Libri-adhoc40: A dataset collected from synchronized ad-hoc microphone arrays

Shanzheng Guan, Shupei Liu외 9명|arXiv (Cornell University)|2021. 03. 28.

Speech and Audio Processing참고 문헌 21인용 수 8

한 줄 요약

이 논문은 사무실 환경에서 40개의 분산된 시간 동기화 마이크 노드에서 녹음한 실세계 음성 코퍼스인 Libri-adhoc40을 소개한다. 이 코퍼스는 스피커를 통해 재생된 LibriSpeech 데이터를 기반으로 하며, 임의의 마이크 어레이 시스템의 벤치마킹을 가능하게 한다. 실험 결과, 채널 수를 늘리고 학습된 채널 선택 기법(예: Scaling Sparsemax)을 사용할 경우 WER가 크게 감소함을 입증하였다. 실제 학습 데이터를 사용할 경우 40개 채널에서 오라클 방법 대비 19.6%의 상대적 WER 감소를 달성하였다.

ABSTRACT

Recently, there is a research trend on ad-hoc microphone arrays. However, most research was conducted on simulated data. Although some data sets were collected with a small number of distributed devices, they were not synchronized which hinders the fundamental theoretical research to ad-hoc microphone arrays. To address this issue, this paper presents a synchronized speech corpus, named Libri-adhoc40, which collects the replayed Librispeech data from loudspeakers by ad-hoc microphone arrays of 40 strongly synchronized distributed nodes in a real office environment. Besides, to provide the evaluation target for speech frontend processing and other applications, we also recorded the replayed speech in an anechoic chamber. We trained several multi-device speech recognition systems on both the Libri-adhoc40 dataset and a simulated dataset. Experimental results demonstrate the validness of the proposed corpus which can be used as a benchmark to reflect the trend and difference of the models with different ad-hoc microphone arrays. The dataset is online available at https://github.com/ISmallFish/Libri-adhoc40.

연구 동기 및 목표

• 임의의 마이크 어레이를 위한 동기화된 실세계 데이터셋의 부족으로 인해 분산 음성 처리에 대한 기본 연구가 저해되는 문제를 해결하기 위해.
• 실제 마이크 어레이 구성과 공간적 구성 간의 성능 차이를 반영한 벤치마킹 데이터셋을 제공하기 위해.
• 실제로 큰 규모의 임의 마이크 어레이 환경에서 음성 프론트엔드 처리, 인식, 향상 및 분리 작업의 평가를 가능하게 하기 위해.
• 동기화 및 비동기화 테스트 시나리오를 제공함으로써 동기화 기법 연구를 지원하기 위해.

제안 방법

• 코퍼스는 실제 사무실 환경에서 40개의 동기화된 분산 마이크를 사용하여 LibriSpeech의 'train-clean-100', 'dev-clean', 'test-clean' 부분을 스피커를 통해 재생함으로써 녹음되었다.
• 신호 전파 지연 정보를 유지하기 위해 하드웨어 및 소프트웨어 기반 시간 동기화를 통해 동기화를 달성하였으며, 프레임 손실 또는 시계 오차 보정을 방지하였다.
• 음성 처리 평가를 위한 청소된 기준 타겟으로 별도의 반음실 환경에서 녹음된 데이터를 확보하였다.
• 코퍼스는 총 4,510시간의 데이터를 포함하며, 각 마이크당 110시간의 데이터를 포함하고 있으며, 다양한 원천-마이크 거리와 방향을 시뮬레이션하기 위해 다수의 스피커 위치를 포함한다.
• 모델은 시뮬레이션 데이터와 실제 Libri-adhoc40 데이터를 기반으로 한 conformer 기반 ASR 모델을 사용하여 기초 음성 인식 실험을 수행하였으며, 다양한 채널 구성 조건에서 테스트 세트를 대상으로 평가하였다.
• 다양한 환경에서 지능적인 마이크 선택의 성능 향상을 평가하기 위해 채널 선택 전략(예: Scaling Sparsemax)을 평가하였다.

실험 결과

연구 질문

• RQ1 실세계의 임의 마이크 어레이에서 동기화된 마이크 수가 증가할수록 다기기 ASR 시스템의 성능은 어떻게 변화하는가?
• RQ2 실세계의 임의 마이크 어레이 환경에서 학습된 채널 선택 전략이 오라클의 one-best 선택 전략을 얼마나 뛰어넘을 수 있는가?
• RQ3 마이크 어레이 기하학적 구조와 화자 방향은 원거리, 분산된 마이크 설정에서 음성 인식 성능에 어떤 영향을 미치는가?
• RQ4 실제로 동기화된 데이터를 포함한 Libri-adhoc40의 실세계 데이터는 ASR 이외의 음성 처리 알고리즘(예: 반향 제거 및 분리) 평가에 신뢰할 수 있는 기준으로 기능할 수 있는가?
• RQ5 실제 동기화 데이터를 기반으로 학습하는 것과 시뮬레이션 데이터를 기반으로 학습하는 것 간에 실제 테스트 조건에 대한 일반화 능력은 어떻게 비교되는가?

주요 결과

• 실제 Libri-adhoc40 데이터를 기반으로 학습한 Scaling Sparsemax 모델은 40개 채널에서 오라클 one-best 방법 대비 19.6%의 상대적 WER 감소를 달성하였으며, 지능적인 채널 선택의 가치를 입증하였다.
• 실제 학습 조건에서 채널 수를 10개에서 40개로 늘일 경우 Scaling Sparsemax 모델의 WER는 상대적으로 46.6% 감소하였으며, 이는 더 큰 어레이에서의 성능 향상을 강력히 시사한다.
• 가장 가까운 마이크 위치(위치1)에서는 실재 학습 모델의 평균 WER가 9%였지만, 더 멀리 떨어지거나 방향이 불리한 위치(위치2, 위치3)에서는 각각 25.3%와 21.8%로 증가하여 기하학적 구조와 방향에 대한 강한 의존성을 보였다.
• Scaling Sparsemax 모델은 나쁜 화자 방향의 영향을 줄였다: 오라클 방법은 위치2와 위치3에서 위치1 대비 WER가 66% 증가한 반면, Scaling Sparsemax는 증가율이 54%에 그쳐 어레이 기하학적 구조에 대해 더 강건함을 보였다.
• 실제 Libri-adhoc40 데이터를 기반으로 학습한 모델는 시뮬레이션 데이터를 기반으로 학습한 모델보다 항상 뛰어난 성능를 보였으며, 일반화를 위해 실세계 데이터의 중요성을 확인하였다.
• 청소된 반음실 녹음 데이터와 공간적으로 다양한 스피커 신호의 존재 덕분에, 이 코퍼스는 음성 향상, 반향 제거 및 분리 작업의 평가를 가능하게 한다.