[논문 리뷰] Probing the phonetic and phonological knowledge of tones in Mandarin TTS models

Jian Zhu|arXiv (Cornell University)|2019. 12. 23.

Speech Recognition and Synthesis참고 문헌 26인용 수 5

한 줄 요약

이 연구는 타코트론 2 및 BERT 임beddings를 통합한 타코트론 2 모델의 중국어 TTS 모델이 음운적 지식을 어떻게 습득하고 있는지를 제어된 자극을 통해 평가한다. 특히 음절 강조의 공음화와 음운적 3단계 변형(Tone-3 sandhi)을 중심으로 분석한다. 결과적으로 두 모델 모두 표면 수준의 음절 강조 공음화를 정확하게 재현하지만, 새로운 복잡한 문장에서 카테고리적 3단계 변형 규칙을 일관되게 적용하지 못하며, BERT를 통한 보완은 일반화 능력을 약간 향상시키지만 전체 정확도는 여전히 낮다.

ABSTRACT

This study probes the phonetic and phonological knowledge of lexical tones in TTS models through two experiments. Controlled stimuli for testing tonal coarticulation and tone sandhi in Mandarin were fed into Tacotron 2 and WaveGlow to generate speech samples, which were subject to acoustic analysis and human evaluation. Results show that both baseline Tacotron 2 and Tacotron 2 with BERT embeddings capture the surface tonal coarticulation patterns well but fail to consistently apply the Tone-3 sandhi rule to novel sentences. Incorporating pre-trained BERT embeddings into Tacotron 2 improves the naturalness and prosody performance, and yields better generalization of Tone-3 sandhi rules to novel complex sentences, although the overall accuracy for Tone-3 sandhi was still low. Given that TTS models do capture some linguistic phenomena, it is argued that they can be used to generate and validate certain linguistic hypotheses. On the other hand, it is also suggested that linguistically informed stimuli should be included in the training and the evaluation of TTS models.

연구 동기 및 목표

• 엔드 투 엔드 TTS 모델이 중국어 어휘 음운의 음운적 및 음운론적 지식을 얼마나 습득하고 있는지를 평가하는 것.
• TTS 모델이 익숙하지 않은 복잡한 문장에서 명시적인 지도 없이 음운론적 규칙—특히 카테고리적 3단계 변형 규칙—을 일반화할 수 있는지 조사하는 것.
• BERT 임베딩을 통한 문법 정보 통합이 모델이 음운론적 규칙을 올바르게 적용하는 데에 어떤 영향을 미치는지 평가하는 것.
• TTS 모델이 음운학 및 음운론 분야에서 언어학적 가설을 생성하고 검증하는 계산적 도구로 사용될 수 있는지 판단하는 것.
• TTS 모델의 언어학적 정밀도를 향상시키기 위해 언어학적으로 고려된 자극을 훈련 및 평가에 활용하는 것이 중요함을 강조하는 것.

제안 방법

• 두 실험을 위해 제어된 자극을 구성하였다: 6개의 수식어 문장에서 [ma, mo, mi]의 576개 이음절 조합을 사용하여 음절 강조 공음화를 평가하였다.
• 3단계 변형 자극은 이음절 및 삼음절어에서의 일반화 능력을 테스트하기 위해 설계되었으며, 특히 어미 경계에 따라 변형 적용 여부가 달라지는 복잡한 문법적 구조를 포함하였다.
• 텍스트 입력은 타코트론 2 및 타코트론 2에 BERT 임베딩을 통합하여 멜-스펙트로그램을 생성하였고, 이를 WaveGlow를 사용해 원시 웨이브폼으로 변환하였다.
• 생성된 음성 샘플은 음향 분석과 인간 평가를 통해 음운 정확도와 어조를 평가하였다.
• 혼합 로지스틱 회귀 모델을 사용하여 두 TTS 모델 간의 3단계 변형 작업 성능을 비교하였으며, 모델 간 차이에 대한 유의성 검정을 실시하였다.
• 오류 분석은 오류가 문법 경계에서의 잘못된 규칙 적용인지, 또는 문법적 경계에서의 잘못된 해석에서 비롯되었는지에 중점을 두었다. 특히 긴 문장에서의 오류를 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 TTS 모델은 인간의 말에서 관찰되는 표면 수준의 음절 강조 공음화 패턴을 얼마나 잘 재현할 수 있는가?
• RQ2 TTS 모델은 명시적인 지도 없이도 익숙하지 않은 복잡한 문법적 구조에서 3단계 변형 규칙을 일반화할 수 있는가?
• RQ3 BERT 임베딩을 통한 문법 정보 통합이 모델이 새로운 자극에 대해 3단계 변형 규칙을 적용하는 데에 정확도를 향상시키는가?
• RQ4 3단계 변형 적용 오류는 문법적 구조를 제대로 해석하지 못한 탓인지, 아니면 규칙 적용에 실패한 탓인가?
• RQ5 TTS 모델은 음운학 및 음운론 분야에서 언어학적 가설을 생성하고 검증하는 유효한 도구로 사용될 수 있는가?

주요 결과

• 타코트론 2 및 BERT 임베딩을 통합한 타코트론 2 모델 모두 인간이 생성한 데이터와 유사하게 표면 수준의 음절 강조 공음화 패턴을 정확히 재현하였다.
• 기본 타코트론 2 모델은 복잡한 3단계 변형 자극에서 평균 1.31개의 음운 오류를 내었고, BERT 보강 모델은 이를 0.92개로 감소시켰다.
• BERT 보강 모델은 복잡한 문장에서 3단계 변형의 일반화 능력에서 통계적으로 유의미한 향상(β = -0.52, p = 0.01)을 보였지만, 전체 정확도는 여전히 낮았다.
• 두 모델 모두 개별 이음절 및 삼음절어에서는 3단계 변형 규칙를 일관되게 적용했지만, 긴 문장에서 문법적 경계에서 자주 실패했다.
• 오류 분석 결과 대부분의 오류는 규칙 적용 실패가 아니라 문법적 경계를 잘못 해석한 탓이었으며, 이는 모델의 문법적 이해 능력에 한계가 있음을 시사한다.
• 높은 자연스러움과 어조 품질에도 불구하고 TTS 모델은 3단계 변형의 카테고리적, 규칙 기반 성격을 완전히 습득하지 못했으며, 이는 기본 음운론적 규칙을 충분히 습득하지 못했음을 시사한다.