[논문 리뷰] Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Neural TTS

Mutian He, Yan Deng외 1명|arXiv (Cornell University)|2019. 06. 03.

Speech Recognition and Synthesis참고 문헌 21인용 수 7

한 줄 요약

이 논문은 도메인 외 입력에 대해 강건성을 향상시키기 위해 순서-순차 신경 TTS를 위한 단계적 단조성 주의 메커니즘을 제안한다. строго한 단조성과 입력 건너뛰기 제거를 통해, 정렬 안정성 향상과 주의 오류(붕괴 및 반복 등) 감소를 달성하며, 도메인 내 자연스러움을 훼손하지 않은 채 유의미한 강건성 향상을 이룬다. 이는 Interspeech 2019에서 검증되었다.

ABSTRACT

Neural TTS has demonstrated strong capabilities to generate human-like speech with high quality and naturalness, while its generalization to out-of-domain texts is still a challenging task, with regard to the design of attention-based sequence-to-sequence acoustic modeling. Various errors occur in those inputs with unseen context, including attention collapse, skipping, repeating, etc., which limits the broader applications. In this paper, we propose a novel stepwise monotonic attention method in sequence-to-sequence acoustic modeling to improve the robustness on out-of-domain inputs. The method utilizes the strict monotonic property in TTS with constraints on monotonic hard attention that the alignments between inputs and outputs sequence must be not only monotonic but allowing no skipping on inputs. Soft attention could be used to evade mismatch between training and inference. The experimental results show that the proposed method could achieve significant improvements in robustness on out-of-domain scenarios for phoneme-based models, without any regression on the in-domain naturalness test.

연구 동기 및 목표

• 도메인 외 입력에 직면했을 때 주의 기반 순서-순차 음성 모델의 낮은 일반화 성능을 해결하기 위해.
• 알려지지 않은 언어적 맥락에서 흔히 발생하는 주의 오류(붕괴, 건너뛰기, 반복 등)를 완화하기 위해.
• 입력 건너뛰기를 허용하지 않고 엄격한 단조성을 강제하여 정렬 강건성을 향상시키기 위해.
• 도메인 내 데이터에서 높은 자연스러움과 품질을 유지하면서 도메인 외 성능을 향상시키기 위해.

제안 방법

• 입력 시퀀스와 출력 시퀀스 사이의 엄격한 단조성 정렬을 강제하는 단계적 단조성 주의 메커니즘을 도입한다.
• 각 입력 토큰이 정확히 한 번이고 순서대로만 주의를 받도록 제약 조건을 적용하여 건너뛰기나 반복을 방지한다.
• 하드 주의에서 전형적인 학습과 추론 간 괴리 문제를 방지하기 위해 훈련 중 소프트 주의를 사용한다.
• 엔드 투 엔드 신경 TTS를 위한 순서-순차 음성 모델링 프레임워크 내에서 이 방법을 적용한다.
• 역전파 동안 기울기 흐름을 허용하기 위해 하드 주의의 미분 가능 근사값을 활용한다.
• 주의 메커니즘을 단조적이면서도 건너뛰지 않도록 설계하여 안정적이고 해석 가능한 정렬을 보장한다.

실험 결과

연구 질문

• RQ1 입력 건너뛰기를 허용하지 않는 단조성 주의 메커니즘이 도메인 외 입력에 대해 신뢰성 있는 성능 향상에 기여할 수 있는가?
• RQ2 엄격한 단조성을 강제할 경우, 알 수 없는 언어적 맥락에서 주의 안정성과 오류율에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 도메인 외 일반화 성능 향상과 함께 도메인 내 자연스러움을 유지할 수 있는가?
• RQ4 훈련 중 소프트 주의가 하드 주의를 효과적으로 근사하면서도 정렬의 무결성을 유지할 수 있는가?

주요 결과

• 기본 주의 메커니즘과 비교해 도메인 외 테스트 세트에서 제안된 방법이 강건성 향상에 유의미한 개선을 이룬다.
• 알 수 없는 입력 조건 하에서 주의 붕괴, 건너뛰기, 반복 오류가 크게 감소한다.
• 도메인 내 평가에서 높은 자연스러움과 품질을 유지하여 성능 저하가 없음을 보여준다.
• 다양한 도메인 외 테스트 케이스에서 일관된 성능 향상이 나타나 강력한 일반화 능력을 입증한다.