[논문 리뷰] The Perceptimatic English Benchmark for Speech Perception Models

Juliette Millet, Ewan Dunbar|arXiv (Cornell University)|2020. 05. 07.

Speech Recognition and Synthesis참고 문헌 23인용 수 7

한 줄 요약

Perceptimatic English Benchmark (PEB)는 LibriVox에서 가져온 자연스러운 발화 조각을 사용하여 인간의 발화 인지 모델을 평가하기 위해 설계된 개방형이고 생태학적으로 타당한 ABX 차별화 작업 데이터셋이다. 이 데이터셋은 표준 영어 음성 인식기인 DeepSpeech가 다국어 모델이나 짧은 지속시간 음성 이벤트 모델보다 인간의 인지 예측 능력이 떨어지며, 영어 음소 차별화에 과도하게 특화되어 있음을 드러낸다.

ABSTRACT

We present the Perceptimatic English Benchmark, an open experimental benchmark for evaluating quantitative models of speech perception in English. The benchmark consists of ABX stimuli along with the responses of 91 American English-speaking listeners. The stimuli test discrimination of a large number of English and French phonemic contrasts. They are extracted directly from corpora of read speech, making them appropriate for evaluating statistical acoustic models (such as those used in automatic speech recognition) trained on typical speech data sets. We show that phone discrimination is correlated with several types of models, and give recommendations for researchers seeking easily calculated norms of acoustic distance on experimental stimuli. We show that DeepSpeech, a standard English speech recognizer, is more specialized on English phoneme discrimination than English listeners, and is poorly correlated with their behaviour, even though it yields a low error on the decision task given to humans.

연구 동기 및 목표

• 실제 연속된 발화를 사용하여 인간의 발화 인지 모델을 평가할 수 있는 개방형이고 생태학적으로 타당한 벤치마크를 개발하기 위해.
• 특히 자동 음성 인식을 위해 훈련된 다양한 음성 처리 모델의 인간 인지 데이터에 대한 예측 능력을 평가하기 위해.
• 특히 모국어 및 비모국어 언어 간의 음소 대비에서 인간의 차별화 행동을 더 잘 예측하는 모델 아키텍처를 특정하기 위해.
• 자연스러운 발화 코퍼스에서 유래한 청각적으로 관련 있는 자극을 사용하여 모델 간 비교를 위한 표준화된 개방형 자원을 제공하기 위해.
• 인간의 청각 성능과 상관관계가 높은, 쉽게 계산할 수 있는 음향 거리 측정 기준을 제안하기 위해.

제안 방법

• 벤치마크는 청취자가 A 또는 B 중 하나의 기준 자극이 프로브(X)와 더 유사한지 판단하는 ABX 차별화 작업을 사용하며, A와 B 간에 오직 중앙 음소만 다를 것이다.
• 자극은 LibriVox 코퍼스의 연속된 발화에서 연속된 세 음소 조합으로 추출되어 자연스러운 유창성과 맥락을 유지한다.
• A와 B는 동일한 화자로 말한 것으로, 화자 변동성을 제거하기 위해, X는 다른 화자로 말한 것으로, 음운적 내용에만 집중하기 위해 설정된다.
• 자극은 461개의 고유한 음소 대비(영어 212개, 프랑스어 249개)를 포함하며, 이질음 변형을 최소화하기 위해 음운적 맥락을 통제한다.
• 다양한 모델을 사용하여 음향 거리 측정 기준을 계산하며, 이에는 DeepSpeech, 다국어 모델, DPGMM 기반의 짧은 지속시간 음성 이벤트 모델이 포함된다.
• 인간 성능은 청취자 평균 정확도로 측정되며, 모델 예측은 이러한 기준과 상관관계를 분석하여 예측 타당성을 평가한다.

실험 결과

연구 질문

• RQ1 표준 자동 음성 인식 모델이 음소 차별화 작업에서 인간 성능을 얼마나 잘 예측하는가?
• RQ2 비영어 발화나 짧은 음성 이벤트에 대해 훈련된 모델이 영어 음소 인식 최적화된 모델보다 인간 인지 예측 능력이 뛰어나기까지 하는가?
• RQ3 다양한 모델이 추정한 청각 거리가 ABX 작업에서 인간 정확도와 어떻게 상관관계가 있는가?
• RQ4 자연스럽고 연속적인 발화 자극을 사용할 경우, 고립된 단어 목록 자극보다 더 생태학적으로 타당한 모델 평가가 가능한가?
• RQ5 모델에서 유도된 쉽게 계산할 수 있는 음향 거리 측정 기준이 인간의 청각 차별화 성능을 신뢰할 수 있는 대체 지표로 사용될 수 있는가?

주요 결과

• DeepSpeech 음성 인식기는 결정 과제에서 낮은 오류를 기록했음에도 불구하고, 특히 비영어 대비에서 인간 청취자의 성능과 상관관계가 낮다.
• 다국어 모델과 DPGMM 기반 짧은 지속시간 음성 이벤트 모델은 DeepSpeech를 능가하여 인간 인지 예측 능력을 뛰어나게 하며, 이는 영어 음소에 과도하게 특화되지 않았음을 시사한다.
• DeepSpeech의 분류 가능성 점수에서 명확한 분리가 관찰된다: 영어 대비에서는 높고 프랑스어 대비에서는 낮아, 원어민 언어에 과도하게 피팅된 것으로 나타난다.
• 인간 청취자는 프랑스어 대비에서 성능이 다소 떨어지지만, 이는 음소 범주가 아닌 음향적 세부 정보에 의존할 가능성이 있음을 시사한다.
• PEB 데이터셋은 자연스러운 발화를 사용하여 광범위한 음소 대비를 체계적으로 평가하는 최초의 개방형 벤치마크로, 계산 모델과의 직접 비교를 가능하게 한다.
• 연구는 다국어 모델을 인간 행동과 강한 상관관계를 보이며 신뢰할 수 있는 즉시 사용 가능한 청각 거리 대체 지표로 추천한다.