[논문 리뷰] Style Equalization: Unsupervised Learning of Controllable Generative Sequence Models

Jen-Hao Rick Chang, Ashish Shrivastava외 3명|arXiv (Cornell University)|2021. 10. 06.

Music and Audio Processing인용 수 8

한 줄 요약

이 논문은 비지도 학습 가능한 제어 가능한 시퀀스 생성 모델에서의 학습-추론 불일치 문제를 해결하기 위해, 목표 스타일 정보를 관련 없는 스타일 입력으로 전달하는 스타일 변환 모듈을 적용하는 스타일 균형 조정(Style Equalization)을 제안한다. 콘텐츠와 스타일 샘플이 쌍으로 이루어지지 않은 상태에서 학습함으로써, 모델은 높은 품질의 스타일 복제를 달성하며(사용자 연구에서 실제 데이터와 유사함), 시간에 따라 변하지 않는 스타일 버블넥을 통해 콘텐츠 泄漏를 방지한다.

ABSTRACT

Controllable generative sequence models with the capability to extract and replicate the style of specific examples enable many applications, including narrating audiobooks in different voices, auto-completing and auto-correcting written handwriting, and generating missing training samples for downstream recognition tasks. However, under an unsupervised-style setting, typical training algorithms for controllable sequence generative models suffer from the training-inference mismatch, where the same sample is used as content and style input during training but unpaired samples are given during inference. In this paper, we tackle the training-inference mismatch encountered during unsupervised learning of controllable generative sequence models. The proposed method is simple yet effective, where we use a style transformation module to transfer target style information into an unrelated style input. This method enables training using unpaired content and style samples and thereby mitigate the training-inference mismatch. We apply style equalization to text-to-speech and text-to-handwriting synthesis on three datasets. We conduct thorough evaluation, including both quantitative and qualitative user studies. Our results show that by mitigating the training-inference mismatch with the proposed style equalization, we achieve style replication scores comparable to real data in our user studies.

연구 동기 및 목표

• 모델이 쌍으로 이루어진 콘텐츠와 스타일로 학습되지만, 배포 시에는 쌍이 이루어지지 않은 입력을 사용하는 비지도 제어 가능한 시퀀스 생성에서의 학습-추론 불일치 문제를 해결하기 위해.
• 스피커 레이블이나 수동 애너테이션에 의존하지 않고, 오직 원시 입력 시퀀스만을 사용하여 효과적인 스타일 전이를 가능하게 하기 위해.
• 스타일 입력에서 콘텐츠를 복사하는 콘텐츠 泄漏를 방지하기 위해, 스타일 표현이 시간에 따라 변하지 않도록 보장하기 위해.
• 정량적 및 정성적 평가에서 실제 데이터와 비교할 수 있는 높은 정밀도의 스타일 복제를 달성하기 위해.
• 텍스트-음성 및 텍스트-손글씨 합성에서 예측할 수 없는 스피커와 스타일로의 일반화를 보여주기 위해.

제안 방법

• 콘텐츠 입력의 스타일을 일치시키기 위해 참조 스타일 입력을 변환하는 스타일 변환 모듈을 도입하여, 쌍이 이루어지지 않은 콘텐츠와 스타일 샘플로 학습이 가능하도록 하기 위해.
• 학습 중에 일부 스타일 입력을 변환된 버전으로 무작위로 교체함으로써 스타일 균형 조정을 적용하여, 모델이 다양한 스타일로 일반화하도록 유도하기 위해.
• 콘텐츠 정보의 시간적 의존성을 억제하기 위해 스타일 인코더에 시간에 따라 변하지 않는 버블넥을 사용하여 콘텐츠 泄漏 위험을 감소시키기 위해.
• 콘텐츠 및 스타일 표현에 모두 주의를 기울이는 어텐션 기반 자동회귀 생성 모델을 사용하여 시퀀스 출력을 생성하기 위해.
• 스타일 잠재 변수에 대한 학습된 사전 확률을 사용하는 변동형 오토인코더(Variational Autoencoder, VAE) 목적함수를 사용하여 모델을 엔드 투 엔드로 학습하기 위해.
• 저역통과 필터링을 적용하고 다운샘플링 시 팯딩을 방지하여 앨리어싱을 줄이고 시간에 따라 변하지 않는 스타일 표현의 무결성을 유지하기 위해.

실험 결과

연구 질문

• RQ1 비지도 방식으로 학습된 생성 시퀀스 모델이 쌍이 이루어지지 않은 콘텐츠 및 스타일 데이터에 접근할 수 없더라도 높은 품질의 스타일 전이를 달성할 수 있는가?
• RQ2 추론 시 쌍이 이루어지지 않은 콘텐츠 및 스타일 입력으로 일반화되어야 할 모델에서 학습-추론 분포 이격 문제를 어떻게 완화할 수 있는가?
• RQ3 스타일 균형 조정이 자동회귀 시퀀스 생성 모델에서 콘텐츠 泄漏를 어느 정도 감소시키는가?
• RQ4 시간에 따라 변하는 복잡한 스타일 동역학(예: 프로소디 또는 손글씨 스트로크 패턴)을 효과적으로 포착할 수 있는 시간에 따라 변하지 않는 스타일 표현이 가능한가?
• RQ5 기본 모델 대비 스타일 복제 정밀도와 예측할 수 없는 스피커나 스타일로의 일반화 능력에서 제안된 방법은 어떤가?

주요 결과

• 사용자 연구에서 제안된 방법은 실제 데이터와 유사한 스타일 복제 점수를 달성하여 높은 청각적 품질을 입증하였다.
• 학습 배치의 50%에 스타일 균형 조정을 적용한 모델은 비교 모델들 중에서 기준 스타일과 가장 높은 코사인 유사도를 기록하여 효과적인 스타일 표현 학습이 이루어졌음을 시사한다.
• 스타일 균형 조정을 적용한 모델은 비평행 텍스트 생성 환경에서 낮은 문자 오류율(CER)을 기록하여 콘텐츠 泄漏가 크게 감소한 것으로 확인되었다.
• 제거 실험 결과 스타일 균형 조정이 콘텐츠 泄漏를 방지하는 데 핵심적임을 확인하였으며, 특히 과적합 경향이 있는 모델에서 더욱 두드러졌다.
• 음성 및 손글씨 합성에서 모두 학습된 스타일 사전에서의 보간 및 무작위 샘플링이 성공적으로 수행되어, 예측할 수 없는 스피커 및 스타일로의 일반화 능력이 뛰어나다는 것을 입증하였다.
• 기준 스타일에 다른 콘텐츠가 포함되어 있어도 모델이 강건하게 성능을 유지함으로써, 비평행 추론 환경에 대한 강건성을 확인하였다.