[논문 리뷰] Directional ASR: A New Paradigm for E2E Multi-Speaker Speech Recognition with Source Localization

Aswin Shanmugam Subramanian, Chao Weng외 5명|arXiv (Cornell University)|2020. 10. 30.

Speech and Audio Processing참고 문헌 31인용 수 4

한 줄 요약

이 논문은 다중 화자 원거리 음성 인식을 위한 새로운 엔드 투 엔드 프레임워크인 방향성 ASR(D-ASR)를 소개한다. D-ASR는 오직 ASR 손실만을 사용하여 소스 위치 추정, 음성 분리 및 자동 음성 인식(ASR)을 동시에 최적화한다. 화자 방향각을 잠재 변수로 모델링하고 이를 바탕으로 시간-주파수 마스크를 생성함으로써, 평균 DOA 오차가 3° 미만인 최신 기술 수준의 성능을 달성하며, MIMO-Speech보다 분리 품질과 ASR 정확도에서 뛰어나다.

ABSTRACT

This paper proposes a new paradigm for handling far-field multi-speaker data in an end-to-end neural network manner, called directional automatic speech recognition (D-ASR), which explicitly models source speaker locations. In D-ASR, the azimuth angle of the sources with respect to the microphone array is defined as a latent variable. This angle controls the quality of separation, which in turn determines the ASR performance. All three functionalities of D-ASR: localization, separation, and recognition are connected as a single differentiable neural network and trained solely based on ASR error minimization objectives. The advantages of D-ASR over existing methods are threefold: (1) it provides explicit speaker locations, (2) it improves the explainability factor, and (3) it achieves better ASR performance as the process is more streamlined. In addition, D-ASR does not require explicit direction of arrival (DOA) supervision like existing data-driven localization models, which makes it more appropriate for realistic data. For the case of two source mixtures, D-ASR achieves an average DOA prediction error of less than three degrees. It also outperforms a strong far-field multi-speaker end-to-end system in both separation quality and ASR performance.

연구 동기 및 목표

• 명시적인 DOA 레이블이 필요 없이 소스 위치 추정, 음성 분리 및 자동 음성 인식(ASR)을 동시에 최적화하는 통합 엔드 투 엔드 프레임워크를 개발하는 것.
• 학습 가능한 잠재 변수로 화자 방향을 명시적으로 모델링하여 다중 화자 ASR 시스템의 해석 가능성과 해석 가능성을 향상시키는 것.
• ASR 목표 함수로부터 유도된 방향 정보를 활용하여 원거리 다중 화자 환경에서 ASR 및 분리 성능을 향상시키는 것.
• 실제 데이터에서 병렬된 진짜 방향 도래(DOA) 레이블이 필요 없이 오직 텍스트 전사만으로도 강건한 DOA 추정을 가능하게 하는 것.

제안 방법

• D-ASR는 각 화자에 대한 방위각을 잠재 변수로 모델링하여, 분리에 사용되는 스텝 벡터와 시간-주파수(T-F) 마스크 생성을 제어한다.
• 위치 추정 서브넷은 다중채널 STFT 입력에서 단계 특징을 추출하기 위해 CNN을 사용하고, 이어서 순환층과 시간 평균을 거쳐 각도 사후 확률을 생성한다.
• 각도 사후 확률은 저복잡도 마스크(LCMP) 또는 MVDR beamformer를 통해 비가역적이지 않은 비용 함수를 통해 범위 가중치를 계산하며, 이는 미분 가능하고 엔드 투 엔드 학습이 가능한 구조이다.
• 시스템은 DOA나 분리에 대한 명시적 지도 없이 오직 ASR 손실만을 사용하여 학습되며, 이로써 세 가지 작업이 동시에 최적화된다.
• 추론 단계에서는 성능 향상을 위해 beamformer를 마스크 기반 MVDR-REF beamformer로 교체하지만, DOA 예측은 여전히 해석 가능한 상태를 유지한다.
• 균일한 정규화 손실이 적용되어 각도 사후 분포가 균형 잡히도록 유도되며, 이는 일반화 성능 향상과 DOA 추정 정확도 향상에 기여한다.

실험 결과

연구 질문

• RQ1 오직 ASR 전사만으로 지도를 받는 엔드 투 엔드 방식으로 소스 위치 추정을 효과적으로 학습할 수 있는가?
• RQ2 화자 방향을 명시적으로 모델링하는 것이 다중 화자 ASR 시스템의 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 진짜 DOA 레이블이 없는 상황에서 다양한 비음향 전략(LCMP 대비 MVDR)이 DOA 추정과 분리 품질에 어떤 영향을 미치는가?
• RQ4 오직 DOA 각도만 예측하는 간소화된 프론트엔드가 직접 T-F 마스크 추정보다 더 나은 분리 및 ASR 성능을 달성할 수 있는가?
• RQ5 전통적인 신호 처리 기법(MUSIC, TOPS)과 최신 엔드 투 엔드 모델인 MIMO-Speech와 비교했을 때, 제안된 방법은 DOA 추정 및 ASR 정확도에서 어떤 성능을 보이는가?

주요 결과

• LCMP 비음향 전략과 정규화를 사용할 경우, 테스트 세트에서 평균 DOA 예측 오차가 3.0°에 불과하여 MUSIC(14.4°)과 TOPS(10.1°)를 크게 앞서며 뛰어난 성능을 보였다.
• 시스템은 테스트 세트에서 WER를 4.1%로 줄였으며, MIMO-Speech(5.1% WER)를 뛰어넘고 오라클 IBM 기준(3.0% WER)에 가까워졌다.
• SDR 점수는 15.2 dB에 도달하여 오라클 IBM(15.7 dB)에 거의 근접했으며, MIMO-Speech(11.7 dB)를 뛰어넘어 뛰어난 분리 품질을 입증했다.
• 위치 추정 서브넷에 균일 정규화 손실을 적용함으로써 DOA 추정 정확도가 향상되었으며, 최고 성능 설정(γ=10)에서는 테스트 세트에서 평균 2.5° 오차를 기록했다.
• LCMP 비음향 전략과 정규화를 사용한 D-ASR 시스템은 평균 L1 오차 3.0°를 달성했고, MVDR-REF 변형은 7.4 dB SDR와 2.9 PESQ를 유지하여 뛰어난 성능을 보였다.
• 중간 출력물(DOA 및 마스크)은 해석 가능하므로, 모델의 행동 분석과 화자 분리 동역학에 대한 통찰을 제공할 수 있다.