[논문 리뷰] Attention-based multi-channel speaker verification with ad-hoc microphone arrays

Chengdong Liang, Junqi Chen외 2명|arXiv (Cornell University)|2021. 07. 01.

Speech and Audio Processing참고 문헌 29인용 수 6

한 줄 요약

이 논문은 임의의 마이크 어레이에 적합한 어텐션 기반 다중채널 화자 확인 시스템을 제안한다. 채널 간 처리에 잔차 자기어텐션과 전역 융합을 적용하여 마이크 수나 배열에 관계없이 강인한 성능을 달성한다. 노이즈가 있는 채널을 억제하기 위해 소프트맥스 대신 스파스맥스를 사용함으로써, 시뮬레이션 데이터에서 오라클 일베스트 시스템 대비 36.2% 상대적 EER 감소를 달성했고, 반가소적 데이터에서는 30% 이상의 감소를 기록했다.

ABSTRACT

Recently, ad-hoc microphone array has been widely studied. Unlike traditional microphone array settings, the spatial arrangement and number of microphones of ad-hoc microphone arrays are not known in advance, which hinders the adaptation of traditional speaker verification technologies to ad-hoc microphone arrays. To overcome this weakness, in this paper, we propose attention-based multi-channel speaker verification with ad-hoc microphone arrays. Specifically, we add an inter-channel processing layer and a global fusion layer after the pooling layer of a single-channel speaker verification system. The inter-channel processing layer applies a so-called residual self-attention along the channel dimension for allocating weights to different microphones. The global fusion layer integrates all channels in a way that is independent to the number of the input channels. We further replace the softmax operator in the residual self-attention with sparsemax, which forces the channel weights of very noisy channels to zero. Experimental results with ad-hoc microphone arrays of over 30 channels demonstrate the effectiveness of the proposed methods. For example, the multi-channel speaker verification with sparsemax achieves an equal error rate (EER) of over 20% lower than oracle one-best system on semi-real data sets, and over 30% lower on simulation data sets, in test scenarios with both matched and mismatched channel numbers.

연구 동기 및 목표

• 알 수 없는 마이크 어레이 구성이 있는 원거리 환경에서의 화자 확인 과제를 해결하기 위해.
• 임의의 마이크 어레이에서의 다중채널 오디오를 활용해 노이즈가 많고 반향이 강한 환경에서도 강인성을 향상시키기 위해.
• 어레이의 마이크 수나 순서에 관계없이 불변인 방법을 개발하기 위해.
• 마이크 기하학적 배열이나 신호 품질에 대한 사전 지식 없이도 효과적인 채널 가중치 부여와 융합을 가능하게 하기 위해.
• 고정된 채널 선택에 의존하는 것을 줄이고, 어텐션을 통해 최적의 채널 기여도를 학습함으로써 오라클 채널 선택에 대한 의존도를 감소시키기 위해.

제안 방법

• 모든 마이크 간 채널별 가중치를 학습하기 위해 잔차 자기어텐션 기반의 채널 간 처리 레이어를 도입한다.
• 채널 수에 관계없이 불변성을 확보하기 위해 평균 풀링을 사용한 전역 융합 레이어를 적용한다.
• 자기어텐션에서 표준 소프트맥스 대신 스파스맥스를 사용하여 노이즈가 많거나 정보가 없는 채널에 대한 가중치를 0으로 강제한다.
• 두 단계 학습 전략을 사용한다: 먼저 청소된 데이터에서 단일채널 ASV를 사전 학습하고, 이후 임의의 마이크 어레이 데이터에서 다중채널 모델을 미세조정한다.
• 데이터 증강을 위해 40차원 멜 필터뱅크를 사용하고, 인스턴스 정규화 및 무작위 2초 크롭을 적용한다.
• 각 발화에 대해 다섯 개의 4초 크롭에서 평균 유사도를 계산하여 최종 점수를 도출하며, 25개의 쌍별 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기하학적 지식 없이도 어텐션 기반 다중채널 ASV 시스템이 알 수 없는 마이크 어레이를 효과적으로 활용할 수 있는가?
• RQ2 스파스맥스 어텐션은 표준 소프트맥스에 비해 노이즈가 많거나 정보가 없는 마이크 채널을 얼마나 잘 억제하는가?
• RQ3 다른 채널 수(예: 20대 30 또는 40) 간 불일치 상황에서 제안된 방법이 얼마나 잘 일반화되는가?
• RQ4 오라클 일베스트 시스템(가장 가까운 마이크를 선택하는 시스템)보다 다중채널 시스템이 성능이 뛰어나게 되는가?
• RQ5 고반향과 노이즈가 강한 현실적인 반가소적 조건에서 모델의 성능은 어떠한가?

주요 결과

• Libri-adhoc-simu 데이터셋에서, 스파스맥스를 사용한 다중채널 ASV는 일치하는 20채널 시나리오에서 오라클 일베스트 기준 36.2% 상대적 EER 감소를 달성했다.
• 동일한 데이터셋에서 스파스맥스 모델은 20채널 일치 테스트에서 소프트맥스를 사용한 모델 대비 6.2% 상대적 EER 감소를 기록했다.
• 반가소적 Libri-adhoc40 데이터셋에서, 스파스맥스 기반 모델은 20채널 테스트 시나리오에서 오라클 일베스트 기준 35.3% 상대적 EER 감소를 달성했다.
• 반가소적 데이터셋 전반에서 스파스맥스 기반 모델은 소프트맥스 기반 모델 대비 3% 상대적 EER 감소를 보였다.
• 불일치하는 채널 수 상황(예: 30 또는 40채널)에서 일반화 성능이 향상되어 채널 수 변동에 대한 강인성이 입증되었다.
• 시뮬레이션 및 반가소적 데이터 모두에서 오라클 일베스트 기준을 초월하는 성능을 보이며, 고정된 선택 방식이 아닌 학습된 채널 선택의 가치를 입증했다.