[논문 리뷰] Investigating the role of L1 in automatic pronunciation evaluation of L2 speech

Ming Tu, Anna Grabek외 2명|arXiv (Cornell University)|2018. 07. 04.

Speech Recognition and Synthesis참고 문헌 14인용 수 6

한 줄 요약

이 논문은 L1 및 L2 음성 모델을 활용하여 비정상 어조 예측을 향상시키는 새로운 자동 발음 평가 시스템을 제안한다. L1 및 L2 모델에서 추출한 음소 수준의 신뢰도 점수를 통합하여 고정된 차원의 발화 수준 특징 벡터로 구성함으로써, 중국어, 스페인어, 독일어, 프랑스어의 4개 L1 배경에서 인간 평가자 점수와 더 높은 상관관계를 달성한다. 이는 인간 평가자가 발화자의 L1을 모를 경우에도 일관된 성능 향상을 보여준다.

ABSTRACT

Automatic pronunciation evaluation plays an important role in pronunciation training and second language education. This field draws heavily on concepts from automatic speech recognition (ASR) to quantify how close the pronunciation of non-native speech is to native-like pronunciation. However, it is known that the formation of accent is related to pronunciation patterns of both the target language (L2) and the speaker's first language (L1). In this paper, we propose to use two native speech acoustic models, one trained on L2 speech and the other trained on L1 speech. We develop two sets of measurements that can be extracted from two acoustic models given accented speech. A new utterance-level feature extraction scheme is used to convert these measurements into a fixed-dimension vector which is used as an input to a statistical model to predict the accentedness of a speaker. On a data set consisting of speakers from 4 different L1 backgrounds, we show that the proposed system yields improved correlation with human evaluators compared to systems only using the L2 acoustic model.

연구 동기 및 목표

• L2 발화의 자동 발음 평가에 L1 음성 모델을 통합할 경우 향상되는지 조사하기 위해.
• 기존 시스템이 단지 L2 음성 모델에 의존함으로써 L1 영향을 받는 발음 이질성의 영향을 놓칠 수 있다는 한계를 해결하기 위해.
• L1 및 L2 모델의 신뢰도 점수를 통합하여 더 향상된 어조 예측을 위한 특징 추출 기법을 개발하기 위해.
• 다양한 다국어 데이터셋(4개 L1 배경 포함)에서 인간이 주석 처리한 어조 점수를 바탕으로 시스템을 평가하기 위해.
• 인간 평가자가 발화자의 L1을 모를 경우에도 L1 기반 특징이 모델 성능을 향상시키는지 확인하기 위해.

제안 방법

• 강제 정렬을 통해 L2 모델에서 유도된 바탕으로, L2 음성 모델(PS_L2)과 L1 음성 모델(PS_L1)에서 음소 수준의 신뢰도 점수를 각각 추출한다.
• PS_L1 점수는 비모국어 L2 발음이 발화자의 L1에서 가장 유사한 음소와 얼마나 가까운지를 측정하여 L1 전이 효과를 포착한다.
• 발화 수준의 특징 추출 기법은 음소 수준의 신뢰도 점수를 고정된 차원의 벡터로 집계하여 통계 모델의 입력으로 제공한다.
• 선형 회귀 모델을 학습하여 인간이 주석 처리한 어조 점수를 PS_L2 및 PS_L1 특징의 조합을 통해 예측한다.
• GMU 발음 아카이브의 일부 데이터셋을 대상으로 발화자별 교차 검증(leave-one-speaker-out)을 수행하며, 각 발화자에 대해 13명의 인간 평가자가 참여한다.
• 성능 평가에는 피어슨 상관계수(PCC)와 평균 절대 오차(MAE)를 사용하며, 독일어 및 프랑스어 어휘집의 데이터 불균형을 줄이기 위해 다운샘플링을 추가로 적용한다.

Figure 2: System diagram.

실험 결과

연구 질문

• RQ1 L2 음성 모델 외에 L1 음성 모델 특징을 통합할 경우, 단지 L2 음성 모델만 사용하는 것보다 자동 발음 평가 성능이 향상되는가?
• RQ2 다양한 L1 배경에서 L1 기반 특징의 통합이 인간 주석 처리된 어조 점수와의 상관관계를 높이는가?
• RQ3 인간 평가자가 발화자의 L1을 모를 경우에도 L1 기반 특징이 성능 향상에 기여하는가?
• RQ4 L1 특징의 기여도는 다양한 L1 간에 어떻게 다를지, 성능 차이를 설명할 수 있는 요인은 무엇인가?
• RQ5 이 프레임워크는 제2언어 학습에서 L1 특화 및 L1 무관 발음 오류를 구분할 수 있는가?

주요 결과

• 모든 4개 L1 배경에서 PS_L2 및 PS_L1 특징을 모두 사용한 제안된 시스템은 기준 모델(단지 PS_L2 사용)보다 더 높은 피어슨 상관계수(PCC)를 달성했다: 중국어(0.727 vs. 0.707), 스페인어(0.730 vs. 0.681), 독일어(0.833 vs. 0.751), 프랑스어(0.556 vs. 0.371).
• PS_L1 특징을 추가함으로써 모든 L1 그룹에서 평균 절대 오차(MAE)가 감소하여 예측 정확도 향상을 나타냈다.
• PS_L1 특징의 성능 향상은 중국어, 스페인어, 독일어, 프랑스어를 포함한 모든 4개 L1에서 일관되게 관찰되었으며, 특히 독일어 및 프랑스어 그룹은 기준 성능이 낮았음에도 불구하고 동일한 경향을 보였다.
• 독일어 및 프랑스어 발화자 집합의 데이터를 다운샘플링하여 레이블 분포를 균형 있게 만들었더니 모델 성능이 향상되었으며, 이는 레이블 분포가 모델 학습에 영향을 미칠 수 있음을 시사한다.
• 결과는 인간 평가자가 L1 배경을 모를 경우에도 L1 음성 모델이 어조 예측에 의미 있는 보완 정보를 제공함을 시사한다.
• 이 연구는 L1 기반 특징이 자동 발음 평가를 향상시킬 수 있음을 입증하며, L1 전이가 L2 발음 이질성에 중요한 역할을 한다는 가설을 지지한다.