[논문 리뷰] InQSS: a speech intelligibility assessment model using a multi-task learning network.

Yu‐Wen Chen, Yu Tsao|arXiv (Cornell University)|2021. 11. 04.

Speech and Audio Processing참고 문헌 27인용 수 4

한 줄 요약

InQSS는 스펙트로그램과 산란 계수를 입력 특징으로 활용하는 다중 작업 학습 음성 명료도 평가 모델로, 명료도 점수와 품질 점수를 동시에 예측한다. 실험 결과, 산란 계수와 품질 점수가 명료도 예측 성능을 크게 향상시키며, 중국어 음성 평가를 위해 제안된 TMHINT-QI 데이터셋이 공개되었다.

ABSTRACT

Speech intelligibility assessment models are essential tools for researchers to evaluate and improve speech processing models. In this study, we propose InQSS, a speech intelligibility assessment model that uses both spectrogram and scattering coefficients as input features. In addition, InQSS uses a multi-task learning network in which quality scores can guide the training of the speech intelligibility assessment. The resulting model can predict not only the intelligibility scores but also the quality scores of a speech. The experimental results confirm that the scattering coefficients and quality scores are informative for intelligibility. Moreover, we released TMHINT-QI, which is a Chinese speech dataset that records the quality and intelligibility scores of clean, noisy, and enhanced speech.

연구 동기 및 목표

• 다양한 신호 표현을 통합함으로써 예측 정확도를 향상시키는 강력한 음성 명료도 평가 모델을 개발하는 것.
• 산란 계수가 음성 명료도 모델링을 위한 정보성 특징으로 효과적인지 조사하는 것.
• 명료도와 품질 점수를 동시에 학습함으로써 다중 작업 학습의 이점을 탐색하는 것.
• 청결한, 노이즈가 있는, 향상된 음성에 대해 품질 및 명료도 점수가 주석이 달린 새로운 중국어 음성 데이터셋(TMHINT-QI)을 제작하고 공개하는 것.
• 음성 신호에서 명료도와 품질 점수를 동시에 예측하는 통합 프레임워크를 제공하는 것.

제안 방법

• InQSS는 시간-주파수 특성과 불변 신호 특성을 동시에 캐치하기 위해 스펙트로그램과 산란 계수를 이중 입력 특징으로 사용한다.
• 모델는 공유 및 작업별 브랜치를 갖춘 다중 작업 학습 아키텍처를 활용하여 명료도와 품질 점수를 동시에 예측한다.
• 산란 계수는 웨이블릿 기반 변환을 통해 안정적이고 저수준의 특징을 추출하여 음성 품질 저하에 민감하게 반응하도록 한다.
• 다중 작업 손실 함수는 명료도 및 품질 예측 손실을 조합하여 두 목표를 동시에 최적화한다.
• 새로 공개된 TMHINT-QI 데이터셋을 기반으로 네트워크를 엔드 투 엔드로 훈련한다.
• 최종 예측 헤드 이전에 특징 수준의 융합을 적용하여 다중 작업 간 특징 상호작용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스펙트로그램만을 사용하는 것과 비교해 산란 계수가 음성 명료도 평가 모델의 성능을 향상시키는가?
• RQ2 다중 작업 학습 프레임워크에서 품질 점수가 명료도 예측에 어느 정도 기여하는가?
• RQ3 명료도와 품질 예측을 동시에 학습함으로써 모델의 일반화 능력 향상에 얼마나 효과적인가?
• RQ4 다른 입력 특징(스펙트로그램 대비 산란 계수)이 최종 명료도 예측에 기여하는 정도는 어떠한가?
• RQ5 제안된 모델은 청결한, 노이즈가 있는, 향상된 음성 조건에 걸쳐 얼마나 잘 일반화되는가?

주요 결과

• 스펙트로그램만을 사용하는 모델와 비교해 산란 계수의 통합이 명료도 예측 성능을 크게 향상시킨다.
• 품질 점수와 함께 공동 학습함으로써 모델의 다양한 음성 품질 저하 유형에 대한 일반화 능력이 향상된다.
• 다중 작업 학습 프레임워크는 명료도 및 품질 점수 예측 모두에서 더 안정적이고 정확한 예측을 이끈다.
• 실험 결과, 산란 계수와 품질 점수가 모두 명료도 평가에 정보성 있는 특징임을 확인한다.
• 공개된 TMHINT-QI 데이터셋은 중국어 음성 처리에서 명료도 및 품질 평가를 위한 유의미한 기준이 된다.