[논문 리뷰] Initial investigation of an encoder-decoder end-to-end TTS framework using marginalization of monotonic hard latent alignments

Yusuke Yasuda, Xin Wang외 1명|arXiv (Cornell University)|2019. 08. 30.

Speech Recognition and Synthesis참고 문헌 27인용 수 5

한 줄 요약

이 논문은 소프트 어텐션 메커니즘을 단순화된 경로 구조를 통해 최적화된 단일 경로 구조를 사용하여, 강한 어텐션 메커니즘을 대체하는 새로운 엔드 투 엔드 텍스트 투 스피치(TTS) 프레임워크를 제안한다. 이 방법은 경로 구조를 통해 어텐션을 최적화함으로써 복잡한 어텐션 모듈이나 엔지니어링 기법 없이도 안정적인 어텐션 학습을 가능하게 한다. 그러나 주관적 평가 결과, 휴지 시간이 과도하게 예측되어 자연스럽지 않은 발화 리듬을 보이며, 더 긴 학습 시간이 소요되어 기준 모델 대비 낮은 음성 품질(MOS 2.33)을 기록하였다.

ABSTRACT

End-to-end text-to-speech (TTS) synthesis is a method that directly converts input text to output acoustic features using a single network. A recent advance of end-to-end TTS is due to a key technique called attention mechanisms, and all successful methods proposed so far have been based on soft attention mechanisms. However, although network structures are becoming increasingly complex, end-to-end TTS systems with soft attention mechanisms may still fail to learn and to predict accurate alignment between the input and output. This may be because the soft attention mechanisms are too flexible. Therefore, we propose an approach that has more explicit but natural constraints suitable for speech signals to make alignment learning and prediction of end-to-end TTS systems more robust. The proposed system, with the constrained alignment scheme borrowed from segment-to-segment neural transduction (SSNT), directly calculates the joint probability of acoustic features and alignment given an input text. The alignment is designed to be hard and monotonically increase by considering the speech nature, and it is treated as a latent variable and marginalized during training. During prediction, both the alignment and acoustic features can be generated from the probabilistic distributions. The advantages of our approach are that we can simplify many modules for the soft attention and that we can train the end-to-end TTS model using a single likelihood function. As far as we know, our approach is the first end-to-end TTS without a soft attention mechanism.

연구 동기 및 목표

• 복잡한 소프트 어텐션 메커니즘에 의존하지 않는 더 단순하고 안정적인 엔드 투 엔드 TTS 시스템을 개발하기 위해.
• 소프트 어텐션 기반 TTS 모델에서 흔히 발생하는 스킵, 반복, 음성 흐림 등의 어텐션 오류를 해결하기 위해.
• 정지 플래그 예측이나 드롭아웃 기반 추론과 같은 엔지니어링 기반 컴포넌트를 원리적인 확률적 프레임워크로 대체하기 위해.
• 경로 최적화를 통해 경로 기반의 경로 최적화를 통해 하드, 단조로운 어텐션을 잠재 변수로 사용할 수 있는지 평가하기 위해.
• 소프트 어텐션 없이도 경로 기반 학습 목표 함수가 경쟁 가능한 TTS 성능을 달성할 수 있는지 조사하기 위해.

제안 방법

• 모델은 하드이고 단조로운 어텐션을 잠재 변수로 간주하는 시퀀스 투 시퀀스 인코더-디코더 아키텍처를 사용한다.
• 음성 특징과 어텐션의 결합 확률은 세그먼트 투 시퀀스 신경 전달(SSNT) 프레임워크를 통해 계산된다.
• 학습 중에는 입력 토큰과 출력 프레임의 경로 구조를 기반으로 전방-후방 알고리즘을 사용해 가능한 모든 어텐션 경로를 최적화한다.
• 음성 특징의 방출 확률은 등방성 가우시안 분포로 모델링되며, 전이 확률은 순차적 신경망을 통해 학습된다.
• 추론 과정에서는 학습된 결합 분포에서 샘플링하여 어텐션과 음성 특징을 동시에 생성하며, 마지막 입력 토큰에 도달할 때까지 진행된다.
• 전체 모델은 단일 최대우도 목표 함수를 사용해 엔드 투 엔드로 학습되며, 보조 헤드나 손실 항목이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 소프트 어텐션 없이도 단조로운 하드 어텐션의 최적화만으로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 명시적이고 하드한 단조로운 어텐션 제약 조건이 스킵이나 반복 등의 일반적인 어텐션 오류를 줄이는가?
• RQ3 최대우도 기반 학습 목표 함수가 복잡한 어텐션 메커니즘과 정지 플래그 예측 등의 보조 컴포넌트를 대체할 수 있는가?
• RQ4 기존의 읽기 음성 데이터 코퍼스에서 이 방법의 성능는 소프트 어텐션 기반 TTS와 비교해 어떻게 되는가?
• RQ5 이 제안된 방법의 주요 실패 원인은 무엇이며, 모델 개선이나 더 긴 학습으로 이를 완화할 수 있는가?

주요 결과

• 제안된 시스템은 표준 독서 음성 코퍼스에서 평균 관점 평가 점수(MOS) 2.33 ± 0.03을 기록하였으며, 이는 기준 소프트 어텐션 기반 모델보다 낮았다.
• 낮은 MOS의 주요 원인은 휴지 시간이 과도하게 예측되어 자연스럽지 않은 발화 리듬이 발생했으며, 특히 휴지가 포함된 문장에서 두드러졌다.
• 휴지가 없는 문장은 MOS 2.75 ± 0.06을 기록하여, 모델이 비휴지 세그먼트에서는 더 잘 작동하는 것으로 나타났다.
• 하드 어텐션의 단조로운 성질 덕분에, 소프트 어텐션 기반 모델에서 흔히 발생하는 음성 흐림, 스킵, 반복 등의 어텐션 오류를 효과적으로 방지하였다.
• 강력한 어텐션 학습에도 불구하고, 장기적인 모음 길이가 길어지는 등의 새로운 종류의 어텐션 오류가 발생하여, 방출 확률 모델링의 한계를 드러냈다.
• 최적화 과정으로 인해 학습 속도가 크게 느려졌으며, 이는 더 긴 학습 시간이 성능 향상과 오류 감소에 기여할 수 있음을 시사한다.