[논문 리뷰] Residual Adapters for Few-Shot Text-to-Speech Speaker Adaptation

Nobuyuki Morioka, Heiga Zen외 3명|arXiv (Cornell University)|2022. 10. 28.

Speech Recognition and Synthesis인용 수 9

한 줄 요약

이 논문은 소수의 샘플을 사용한 텍스트-to-음성 합성(TTS) 화자 적응을 위한 잔차 어댑터를 제안하며, 백본 모델의 파라미터 약 0.1%만을 사용해 파라미터 효율적인 음성 클로닝을 가능하게 한다. 사전 훈련된 다화자 TTS 백본 모델을 동결하고 전략적인 계층에 경량 잔차 어댑터를 삽입함으로써, 1~5분의 대상 화자 데이터만으로도 경쟁적인 자연스러움과 화자 유사도를 달성하면서도, 모델 공유를 통해 추론 비용을 크게 줄인다.

ABSTRACT

Adapting a neural text-to-speech (TTS) model to a target speaker typically involves fine-tuning most if not all of the parameters of a pretrained multi-speaker backbone model. However, serving hundreds of fine-tuned neural TTS models is expensive as each of them requires significant footprint and separate computational resources (e.g., accelerators, memory). To scale speaker adapted neural TTS voices to hundreds of speakers while preserving the naturalness and speaker similarity, this paper proposes a parameter-efficient few-shot speaker adaptation, where the backbone model is augmented with trainable lightweight modules called residual adapters. This architecture allows the backbone model to be shared across different target speakers. Experimental results show that the proposed approach can achieve competitive naturalness and speaker similarity compared to the full fine-tuning approaches, while requiring only $\sim$0.1% of the backbone model parameters for each speaker.

연구 동기 및 목표

• 수백 명의 맞춤 음성에 대해 전체 TTS 모델을 미세조정할 경우 발생하는 높은 계산 및 메모리 비용을 해결하기 위해.
• 최소한의 데이터로 하나의 사전 훈련된 TTS 백본 모델을 새로운 화자에게 파라미터 효율적으로 적응시킬 수 있도록 하기 위해.
• 모델 공유를 통해 서빙 비용을 줄이면서도 높은 자연스러움과 화자 유사도를 유지하기 위해.
• 잔차 어댑터의 효과성을 TTS에서 평가하고, 전체 미세조정 및 제로샷 기반 모델과의 비교를 통해 분석하기 위해.
• 어댑터 크기, 위치, 학습 데이터 양이 적응 품질에 미치는 영향을 평가하기 위해.

제안 방법

• 사전 훈련된 다화자 TTS 백본 모델을 동결하고, 예를 들어 분산 어댑터와 디코더와 같은 특정 계층에 경량 잔차 어댑터 모듈을 삽입한다.
• 잔차 어댑터는 입력 특징을 복잡한 밸런스를 가진 블로킹을 통해 투영하는 작고 훈련 가능한 피드포워드 네트워크로, 파라미터 효율적인 적응을 가능하게 한다.
• 적응 과정에서는 백본 모델이 고정된 상태에서, 대상 화자 데이터(1~30분)의 소량을 사용해 오직 어댑터 파라미터만 업데이트된다.
• 어댑터는 잔차 방식으로 적용되며, 출력은 원래 계층의 출력과 어댑터 출력의 합으로 구성되어 원래 모델의 동작 방식을 유지한다.
• 추론 시에 서로 다른 어댑터 가중치를 로드함으로써, 동일한 동결된 백본 모델을 여러 화자 간에 공유할 수 있다.
• 목표적 지표(MOS, 코사인 유사도)와 주관적 听음 테스트를 통해 다양한 데이터 양과 어댑터 구성에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 잔차 어댑터는 최소한의 파라미터 업데이트로 소수의 샘플을 사용한 TTS 적응에서 경쟁적인 화자 유사도와 자연스러움을 달성할 수 있는가?
• RQ2 어댑터의 위치(예: 분산 어댑터 vs. 디코더)가 합성 품질에 어떤 영향을 미치는가?
• RQ3 어댑터 크기와 대상 화자 데이터의 양이 성능에 어떤 영향을 미치는가?
• RQ4 전체 미세조정 및 제로샷 기반 모델과 비교했을 때, 제안된 방법은 품질과 효율성 측면에서 어떤가?
• RQ5 1분의 대상 화자 데이터로도 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 1분의 대상 화자 데이터만으로도 전체 미세조정 기반 모델과 비교해 경쟁적인 자연스러움과 화자 유사도를 달성했다.
• 1분의 데이터로도 여성 화자에 대해 약 0.39의 코사인 유사도를 유지하며, 이는 저자료 환경에서 전체 미세조정 기반 모델보다 뛰어난 성능을 보였다.
• 디코더에 삽입된 잔차 어댑터가 분산 어댑터보다 더 우수한 성능을 보였으며, 후자는 자연스러움 저하와 톤 문제를 야기했다.
• 모델은 화자당 백본 모델의 파라미터 약 0.1%만을 사용하여, 수백 명의 음성으로의 비용 효율적인 확장이 가능했다.
• 모델는 데이터 부족에 대해 강건성을 보였으며, 데이터를 30분에서 1분으로 줄였을 때도 성능 저하가 최소한이었고, MOS나 유사도 점수에 유의미한 하락이 없었다.
• d-벡터 기반의 제로샷 기반 모델보다도 뛰어난 화자 유사도를 보이며, 최소한의 조건 데이터로도 우수한 성능을 유지했다.