[논문 리뷰] Self-supervised restoration of singing voice degraded by pitch shifting using shallow diffusion

Yunyi Liu, Taketo Akama|arXiv (Cornell University)|2026. 01. 15.

Music and Audio Processing인용 수 0

한 줄 요약

논문은 피치 시프팅을 복원 문제로 프레이밍하고, f0, 볼륨, 콘텐츠 특징으로 조건화된 얕은 확산 모델을 멜 공간에서 사용하여 WORLD 기반 피치 시프팅에서 생기는 인공음을 제거하면서 피치를 보존한다. unseen singing 데이터에서 클래식 베이스라인에 비해 복원 품질이 우수한 것으로 보인다.

ABSTRACT

Pitch shifting has been an essential feature in singing voice production. However, conventional signal processing approaches exhibit well known trade offs such as formant shifts and robotic coloration that becomes more severe at larger transposition jumps. This paper targets high quality pitch shifting for singing by reframing it as a restoration problem: given an audio track that has been pitch shifted (and thus contaminated by artifacts), we recover a natural sounding performance while preserving its melody and timing. Specifically, we use a lightweight, mel space diffusion model driven by frame level acoustic features such as f0, volume, and content features. We construct training pairs in a self supervised manner by applying pitch shifts and reversing them to simulate realistic artifacts while retaining ground truth. On a curated singing set, the proposed approach substantially reduces pitch shift artifacts compared to representative classical baselines, as measured by both statistical metrics and pairwise acoustic measures. The results suggest that restoration based pitch shifting could be a viable approach towards artifact resistant transposition in vocal production workflows.

연구 동기 및 목표

• 고품질 피치 시프팅의 동기를 인위적인 재합성이 아닌 아티펙트 복원을 통해 확보한다.
• 프레임 단위 음향 특징에 조건화된 경량 확산 기반 디노이저를 개발한다.
• 셀프-감쇠된 degraded-ground-truth 쌍으로 학습하여 소스에 구애받지 않는 피치 시프팅을 가능하게 한다.
• 다양한 보컬 데이터셋에서 클래식 피치 시프팅 베이스라인과 비교하여 복원 품질을 평가한다.

제안 방법

• WORLD 보코더를 사용하여 앞으로의 피치 시프트와 후방 피치를 통해 degraded-pitch 쌍 데이터를 생성한다.
• f0, 볼륨, ContentVec 특징으로 조건화된 멜-스펙트로그램 공간에서 20-layer 시간적 U-Net인 얕은 DDPM을 학습한다.
• 확산 손실과 보조 멜 및 f0 재구성 손실(L1)을 최적화한다.
• 추론 시 DDIM-유사 표본화로 잡음이 있는 멜-스펙트로그램을 디노이즈하고 NSF-HiFiGAN 유사 보코더로 웨이브폼을 재구성한다.
• 다양하고 다언어의 보컬 데이터셋에서 학습하여 교차 언어/일반화 능력을 촉진한다.

실험 결과

연구 질문

• RQ1 피치 추정 재-estimation 없이 피치-시프팅에서 자연스러운 보컬 음색을 회복할 수 있는가?
• RQ2 f0, 볼륨, 콘텐츠 특징으로 조건화하는 것이 unseen 가수들 간 피치와 음색의 안정화를 가져오는가?
• RQ3 복원 기반 피치 시프팅이 분포적 및 페어-와이즈 지표 모두에서 클래식 및 확산 기반 베이스라인과 어떻게 비교되는가?
• RQ4 WORLD 기반 사전 정보가 강건하고 소스에 구애받지 않는 피치 시프팅에 유리한가?
• RQ5 셀프-슈퍼vised degraded pairing이 피치 시프트 아티펙트의 복원 학습에 어떤 영향을 주는가?

주요 결과

• 당사 방법은 unseen 데이터에서 베이스라인에 비해 분포적 및 스펙트럴 충실도 지표에서 최고를 달성한다.
• 당사 방법은 비교된 시스템들 중에서 Fréchet Audio Distance(FAD), Kernel Inception Distance(KID), Maximum Mean Discrepancy(MMD)가 가장 낮다.
• 피치 정확도와 보이스 여부 결정이 크게 향상되어, 다른 방법들에 비해 F0 RMSE와 V/UV 오차가 낮다.
• 세계 WORLD가 신뢰할 수 있는 f0 제어를 위한 필요한 사전 정보로 작용하며, 얕은 확산은 피치 추정이 아닌 아티펙트 제거에 집중한다.
• 본 방법은 다양한 언어 및 보컬 스타일에 걸쳐 강력한 성능을 보여 교차 도메인 일반화가 우수함을 시사한다.