[논문 리뷰] Independent and automatic evaluation of acoustic-to-articulatory inversion models

Maud Parrot, Juliette Millet외 1명|arXiv (Cornell University)|2019. 11. 15.

Speech Recognition and Synthesis참고 문헌 21인용 수 5

한 줄 요약

이 논문은 청각-운동 역모델링 모델을 위한 독립적이고 자동화된 ABX 발음 구분 평가 방법을 제안하며, 기준 운동 데이터에 의존하지 않고도 말하는 사람의 영향을 고려하지 않고도 모델의 일반화 능력과 말하는 사람에 대한 독립성을 신뢰성 있게 평가할 수 있도록 한다. 이 방법은 ABX 점수가 표준 지표와 보완적인 통찰을 제공함을 보여주며, 데이터셋을 통합함으로써 언어적으로 관련 있는 운동 정보가 떨어질 수 있음을 시사한다. 이는 RMSE와 PCC에서의 약간의 향상과는 대비된다.

ABSTRACT

Reconstruction of articulatory trajectories from the acoustic speech signal has been proposed for improving speech recognition and text-to-speech synthesis. However, to be useful in these settings, articulatory reconstruction must be speaker independent. Furthermore, as most research focuses on single, small datasets with few speakers, robust articulatory reconstrucion could profit from combining datasets. Standard evaluation measures such as root mean square error and Pearson correlation are inappropriate for evaluating the speaker-independence of models or the usefulness of combining datasets. We present a new evaluation for articulatory reconstruction which is independent of the articulatory data set used for training: the phone discrimination ABX task. We use the ABX measure to evaluate a Bi-LSTM based model trained on 3 datasets (14 speakers), and show that it gives information complementary to the standard measures, and enables us to evaluate the effects of dataset merging, as well as the speaker independence of the model.

연구 동기 및 목표

• 청각-운동 역모델링 모델에 대해 말하는 사람에 영향을 받지 않는 평가 지표가 부족한 문제를 해결하기 위해.
• RMSE와 PCC와 같은 표준 지표가 말하는 사람 고유의 운동 세부 정보를 포착하지 못한 모델를 페널티 처리하는 데에 한계가 있다는 점을 극복하기 위해.
• 기준 운동 궤적과 학습 데이터에 의존하지 않는 평가 방법을 개발하여 다양한 데이터셋 간의 공정한 비교를 가능하게 하기 위해.
• 여러 데이터셋을 통합함이 모델의 일반화 능력과 발음 구분 능력에 미치는 영향을 평가하기 위해.
• 모델이 발음 대비를 유지하는 능력을 반영하는 자동화되고 확장 가능한 평가를 제공하기 위해.

제안 방법

• 300개의 유닛을 가진 양방향 레이어, 두 개의 300개 유닛 피드포워드 레이어, 예측 궤적의 스무스함을 확보하기 위한 컨볼루션형 로우패스 필터를 포함한 양방향 LSTM 아키텍처를 채택한다.
• 스케일 차이를 보정하기 위해 RMSE와 PCC를 조합한 하이브리드 손실 함수를 사용하며, 가중치 요소 β=1000을 적용한다.
• 예측된 운동 궤적의 스무스함을 확보하기 위해 허니우드 창을 적용한 sinc 필터를 컨볼루션형 로우패스 필터로 적용한다.
• 시퀀스를 정렬하고 구분 능력 점수를 계산하기 위해 동적 시간 왜곡(DTW)과 코사인 거리 기반의 ABX 발음 구분 작업을 수행한다.
• 외부의 청각 전용 코퍼스에서 모델을 평가하며, ABX 점수를 통해 다양한 말하는 사람 간의 발음 대비 유지 능력을 측정한다.
• 말하는 사람에 따라 특화된 학습 설정과 말하는 사람에 영향을 받지 않는 학습 설정 간, 단일 코퍼스와 다중 코퍼스 학습 구성 간 결과를 비교한다.

실험 결과

연구 질문

• RQ1 제안된 ABX 평가 방법이 청각-운동 역모델링 모델의 말하는 사람에 대한 독립성을 효과적으로 측정하는가?
• RQ2 여러 데이터셋을 통합함이 말하는 사람에 영향을 받지 않는 모델의 발음 구분 능력에 어떤 영향을 미치는가?
• RQ3 표준 복원 지표(RMSE, PCC)가 운동 역모델링 모델에서 발음 가시성과 얼마나 관련이 있는가?
• RQ4 표준 지표가 간과하는 언어적으로 관련 있는 운동 정보의 향상 또는 악화를 ABX 평가가 감지할 수 있는가?
• RQ5 여러 코퍼스에서 학습하는 것이 모델이 발음적으로 다를 수 있는 운동 궤적을 재구성하는 능력을 향상시키는가, 아니면 떨어뜨리는가?

주요 결과

• 말하는 사람에 영향을 받지 않는 학습으로 전환할 때 ABX 점수는 발음 구분 성능에 대해 최소한의 열화를 보이며, 이는 말하는 사람에 영향을 받지 않는 모델이 언어적으로 관련 있는 정보를 유지하고 있음을 시사한다.
• EMA–IEEE 코퍼스의 경우, 말하는 사람에 영향을 받지 않는 모델이 말하는 사람에 특화된 학습보다 ABX 점수를 향상시키며, 이는 복원 정확도가 떨어지더라도 일반화 능력이 향상되었음을 시사한다.
• 다중 코퍼스 학습은 단일 코퍼스 학습보다 약간 열악한 ABX 점수(19.7 대 18.9)를 기록하며, 이는 데이터셋을 통합함이 발음 구분 능력에 악영향을 줄 수 있음을 시사한다.
• 그럼에도 불구하고 RMSE와 PCC는 다중 코퍼스 학습에서 약간 향상되며, 이는 복원 정확도와 발음 가시성 간의 괴리가 있음을 드러낸다.
• ABX 평가는 복원 지표의 향상이 모델이 코퍼스 특유의 요소(예: 코ils 배치, 음향 채널)를 더 잘 모델링하기 때문일 수 있으며, 이는 발음 대비 일반화 능력 향상과는 무관하다는 점을 감지한다.
• ABX 측정법은 전통적 지표가 포착하지 못하는 보완적이고 실용적인 통찰을 제공하며, 특히 말하는 사람에 영향을 받지 않는 모델에서 발음 정보 유지 능력에 대해 중요한 통찰을 제공한다.