[논문 리뷰] Singing Style Transfer Using Cycle-Consistent Boundary Equilibrium Generative Adversarial Networks

Chengwei Wu, Jen-Yu Liu외 2명|arXiv (Cornell University)|2018. 07. 06.

Music and Audio Processing참고 문헌 9인용 수 14

한 줄 요약

이 논문은 쌍이 없는 데이터를 사용하여 노래 스타일 전이를 위한 사이클-일致한 경계 평형 GAN (CycleBEGAN) 프레임워크를 제안한다. 1D 컨볼루션과 스킵 커넥션을 활용하여 로그-매그니튜드 스펙트로그램에서 음성 품질을 유지한다. 이 방법은 자연스러움과 성별 전이 등의 주요 지표에서 다섯 단계 리커트 척도 기준으로 거의 4.0에 가까운 높은 청각적 품질을 달성한다.

ABSTRACT

Can we make a famous rap singer like Eminem sing whatever our favorite song? Singing style transfer attempts to make this possible, by replacing the vocal of a song from the source singer to the target singer. This paper presents a method that learns from unpaired data for singing style transfer using generative adversarial networks.

연구 동기 및 목표

• 원본 가수와 대상 가수가 같은 노래를 부른 쌍이 없는 훈련 데이터로도 노래 스타일 전이 문제를 해결한다.
• 원본 가수에서 대상 가수로의 스타일 전이(특히 성별 전이)를 가능하게 하되, 쌍이 없는 오디오 샘플만을 사용한다.
• 스킵 커넥션과 시간적 모델링을 GAN 기반 프레임워크에 통합하여 음성 품질과 청각적 정확도를 향상시킨다.
• CycleGAN과 경계 평형 GAN(BEGAN) 손실을 결합하여 훈련 안정성과 스타일 전이 성능을 향상시킨다.

제안 방법

• 노래 음성의 스펙트럼 특징을 모델링하기 위해 로그-매그니튜드 스펙트로그램(T×F)을 T×1 이미지로 간주하고 F개의 채널을 사용하여 1D 컨볼루션을 적용한다.
• 대칭적 스킵 커넥션을 갖춘 완전 컨볼루션형 U-Net 유사 아키텍처를 구현하여 세밀한 음성 정보를 유지하고 선명도를 향상시킨다.
• 표준 PatchGAN 판별기 대신 생성기와 동일한 아키텍처의 오토인코더를 사용하여 BEGAN의 손실 메커니즘을 통해 훈련 안정성을 향상시킨다.
• 최종 출력 레이어 이전에 GRU 레이어를 통합하여 음성의 시간적 의존성을 모델링하고, 음고와 리듬 일관성을 향상시킨다.
• 스타일 전이 후 수정된 스펙트로그램에서 시간 도메인 오디오를 복원하기 위해 Griffin-Lim 알고리즘을 적용한다.
• 쌍-일致성 손실을 사용하여 원본에서 대상으로의 변환과 그 반대 방향 변환도 정체성을 유지함을 보장한다. 이는 쌍이 없는 데이터에서도 가능하다.

실험 결과

연구 질문

• RQ1 같은 곡을 원본 가수와 대상 가수가 부른 쌍이 없는 데이터가 있을 때, GAN 기반 모델이 효과적으로 노래 스타일 전이를 수행할 수 있는가?
• RQ2 U-Net 아키텍처의 스킵 커넥션은 전이된 노래 음성의 청각적 품질과 선명도에 어떤 영향을 미치는가?
• RQ3 BEGAN의 훈련 목표를 통합할 경우, 표준 GAN에 비해 훈련 안정성과 스타일 전이 성능에 얼마나 기여하는가?
• RQ4 순환 레이어(GRU)의 통합은 음고와 리듬과 같은 음성의 시간적 동적 특성을 얼마나 잘 모델링하는가?
• RQ5 남성에서 여성 또는 여성에서 남성으로의 성별 기반 스타일 전이에만 훈련된 모델이 새로운 가수에 대해 얼마나 잘 일반화되는가?

주요 결과

• 가장 고도화된 모델(CycleBEGAN-CNN+skip+recurrent)은 청각 테스트에서 모든 여섯 가지 청각 지표에 대해 평균 의견 점수(MOS)가 4.0 이상을 기록했다.
• 스킵 커넥션을 포함한 모델(m2, m4, m5)은 선명도와 가사의 명확성에서 스킵 커넥션 없이 구축된 모델보다 유의미하게 뛰어나, 음성 세부 정보의 보존이 향상됨을 시사한다.
• CycleBEGAN 기반 모델(m3, m4, m5)은 표준 CycleGAN 대비 뛰어난 성별 전이 성능을 보였으며, BEGAN의 훈련 목표가 유의미한 이점을 제공함을 확인했다.
• 스킵 커넥션과 GRU를 모두 통합한 모델(m5)은 스타일 전이 성능에서 조건부 오토인코더 기반 모델(m2)조차도 능가했으며, 자연스러움을 유지했다.
• 결과적으로 BEGAN은 훈련 안정성과 스타일 전이 품질을 향상시키며, 특히 음색과 발성 역학과 같은 가수 고유의 특징을 잘 포착함을 보여주었다.
• 스펙트로그램 시각화 결과, 전이된 오디오(예: 남성에서 여성)의 음고 윤곽이 대상 가수의 음역에 정확하게 맞춰진 것으로 확인되었다.