[논문 리뷰] Non-intrusive speech intelligibility prediction using automatic speech recognition derived measures

Mahdie Karbasi, Stefan Bleeck외 1명|arXiv (Cornell University)|2020. 10. 16.

Speech and Audio Processing인용 수 10

한 줄 요약

이 논문은 청취자에 대한 정확한 기준 신호가 필요 없이 자동 음성 인식(ASR)에서 유도된 측정치를 활용하여 단어 수준의 명료도를 예측하는 비침습적 명료도 추정기인 Nori를 제안한다. ASR 기반의 산란도와 수동으로 추정한 신호 대 잡음비(SNR)를 조합하여 다양한 잡음 조건에서 청취자(정상 청력 및 청력 손실이 있는 이들이 포함됨)의 성능을 예측하는 데 있어 널리 사용되는 STOI 지표를 능가한다.

ABSTRACT

The estimation of speech intelligibility is still far from being a solved problem. Especially one aspect is problematic: most of the standard models require a clean reference signal in order to estimate intelligibility. This is an issue of some significance, as a reference signal is often unavailable in practice. In this work, therefore a non-intrusive speech intelligibility estimation framework is presented. In it, human listeners' performance in keyword recognition tasks is predicted using intelligibility measures that are derived from models trained for automatic speech recognition (ASR). One such ASR-based and one signal-based measure are combined into a full framework, the proposed NO-Reference Intelligibility (Nori) estimator, which is evaluated in predicting the performance of both normal-hearing and hearing-impaired listeners in multiple noise conditions. It is shown that the Nori framework even outperforms the widely used reference-based (or intrusive) short-term objective intelligibility (STOI) measure in most considered scenarios, while being applicable in fully blind scenarios with no reference signal or transcription, creating perspectives for online and personalized optimization of speech enhancement systems.

연구 동기 및 목표

• 청결한 기준 신호가 필요 없는 비침습적 명료도 예측 프레임워크를 개발하여 실시간 및 개인 맞춤형 음성 향상에 기여한다.
• 청취자 보조 장치 처리에서 흔히 발생하는 비선형 왜곡이나 반향 조건에서 실패하는 기존 침습적 방법(예: STOI)을 개선한다.
• 현재 단순한 청력 손실 모델을 사용하고 있음에도 불구하고 청력 손실이 있는 청취자의 명료도 성능을 정확히 예측할 수 있도록 청력 손실 영향을 모델에 통합한다.
• 작은 어휘량과 매트릭스 문장 기반 데이터셋(GRID 코퍼스)을 대상으로 프레임워크를 평가하고, 대규모 어휘량 시나리오로의 확장 가능성을 입증한다.
• 빅데이터 및 온라인 학습 응용 분야에서 음성 처리 알고리즘 평가를 위한 인간 청취 테스트의 신뢰할 수 있는 참조 없음 대안을 제공한다.

제안 방법

• 청결한 음성 데이터에서 자동 음성 인식(ASR) 모델을 학습하여, 음성 모델의 출력에서 특징을 추출한다. 특히, 음소 간 후행 확률의 산란도를 분석한다.
• ASR 후행 확률의 산란도를 명료도의 비침습적 측정치로 사용하여, ASR 시스템이 단어를 얼마나 잘 구분할 수 있는지 반영한다.
• 장애된 음성 신호에서 잡음 추정 알고리즘을 사용해 신호 대 잡음비(SNR)를 수동으로 추정하여 두 번째 비침습적 예측기로 활용한다.
• ASR 기반 산란도와 추정된 SNR를 인간 청취 테스트 데이터를 기반으로 학습한 가중 선형 모델을 사용해 통합하여 하나의 명료도 점수로 조합한다.
• 다양한 잡음 조건에서 인간의 키워드 인식 성능 데이터셋을 기반으로 최종 Nori 추정기를 학습하며, 통합된 특징을 예측 변수로 사용한다.
• 학습된 Nori 모델을 사용해 테스트 데이터에 대해 청결한 기준 신호 없이도 예측된 상태에서 단어 수준의 명료도를 추론한다.

실험 결과

연구 질문

• RQ1 청결한 기준 신호에 접근할 수 없더라도 신뢰할 수 있는 성능을 보이는 비침습적 명료도 추정기를 개발할 수 있는가?
• RQ2 제안된 Nori 프레임워크는 다양한 잡음 조건에서 STOI 지표와 비교해 단어 수준의 명료도 예측 성능에서 어떻게 다른가?
• RQ3 간단한 청력 손실 모델을 사용하고 있음에도 불구하고 Nori 프레임워크는 청력 손실이 있는 청취자의 명료도 성능을 정확히 예측할 수 있는가?
• RQ4 ASR 기반 특징(예: 후행 확률 산란도 및 수동 SNR 추정)이 정확한 명료도 예측에 얼마나 기여하는가?
• RQ5 Nori 프레임워크는 대규모 어휘량 음성 인식 작업으로 일반화 가능한가? 그러한 확장에 필요한 데이터 요구 조건은 무엇인가?

주요 결과

• Nori는 대부분의 테스트된 잡음 조건에서 정상 청력 청취자에 대한 단어 수준의 명료도 예측에서 STOI 지표를 능가한다. 특히 저 SNR 및 도전적인 환경에서 두드러진 성능을 보인다.
• 특히 문자나 숫자와 같은 어려운 단어 유형에서, Nori는 인간 성능(상관계수, 텀브의 순서 통계, 평균 제곱오차 기반 측정)과 더 높은 상관관계를 보이며 키워드 인식 점수를 예측한다.
• 청력 손실이 있는 청취자에 대해서는 STOI와 평균적으로 유사한 성능을 보이며, 일부 조건에서는 약간의 우월성을 보이지만, STOI가 청력 손실 청취자 전용으로 설계되지 않았음에도 불구하고 성능이 유사하다.
• 모델은 참조 신호 없이도 단어 수준의 명료도를 성공적으로 예측하여, 음성 향상 시스템의 실시간 평가에 비침습적 접근이 가능한 것을 입증한다.
• Nori의 성능는 기반 ASR 시스템의 강건성에 민감하게 영향을 받으며, 이는 ASR 정확도 향상이 명료도 예측 성능 향상에 기여할 수 있음을 시사한다.
• 프레임워크는 대규모 어휘량 시나리오로의 확장이 가능하지만, 신뢰할 수 있는 평가를 위해 인간이 애너테이션한 대규모 음성 데이터셋과 청취 테스트 결과가 필요하다.