[論文レビュー] Self-supervised restoration of singing voice degraded by pitch shifting using shallow diffusion

Yunyi Liu, Taketo Akama|arXiv (Cornell University)|Jan 15, 2026

Music and Audio Processing被引用数 0

ひとこと要約

要約: 本論文はピッチシフティングを復元問題として捉え、メル空間での浅い拡散モデルをf0、音量、内容特徴で条件付けして、WORLDベースのピッチシフトによるアーチファクトを除去しつつピッチを保持する。見掛け上は、未知の歌唱データに対して古典的ベースラインよりも復元品質が優れている。

ABSTRACT

Pitch shifting has been an essential feature in singing voice production. However, conventional signal processing approaches exhibit well known trade offs such as formant shifts and robotic coloration that becomes more severe at larger transposition jumps. This paper targets high quality pitch shifting for singing by reframing it as a restoration problem: given an audio track that has been pitch shifted (and thus contaminated by artifacts), we recover a natural sounding performance while preserving its melody and timing. Specifically, we use a lightweight, mel space diffusion model driven by frame level acoustic features such as f0, volume, and content features. We construct training pairs in a self supervised manner by applying pitch shifts and reversing them to simulate realistic artifacts while retaining ground truth. On a curated singing set, the proposed approach substantially reduces pitch shift artifacts compared to representative classical baselines, as measured by both statistical metrics and pairwise acoustic measures. The results suggest that restoration based pitch shifting could be a viable approach towards artifact resistant transposition in vocal production workflows.

研究の動機と目的

• アートファクトを復元してから再合成することで高品質なピッチシフティングを動機付ける。
• フレームレベルの音響特徴で条件付けられた軽量な拡散ベースのデノイザーを開発する。
• 自己教師付きの degraded-ground-truth ペアを用いてソースに依存しないピッチシフティングを可能にする。
• 多様な歌唱データセットで古典的ピッチシフティングベースラインと復元品質を比較評価する。

提案手法

• WORLDボコーダを用いてフォワード/バックワードのピッチシフトで劣化ピッチのペアデータを作成する。
• f0、音量、ContentVec特徴量で条件付けられたメルスペクトログラム空間で20層の時系列U-Netを用いた浅いDDPMを訓練する。
• 拡散損失に加え、補助的なメル再構成損失とf0再構成損失（L1）を最適化する。
• 推論時にはDDIM風のサンプリングでアーチファクトをデノイズし、NSF-HiFiGAN風のボコーダで波形を再構成する。
• 多言語の多様な歌唱データセットで訓練し、言語を越えた一般化を促進する。

実験結果

リサーチクエスチョン

• RQ1 ピッチを再推定せずに、浅い拡散モデルはピッチシフトアーチファクトから自然な歌唱 timbre を復元できるか。
• RQ2 f0、音量、 ContentVec特徴で条件付けると、未知の歌手に対してピッチと timbre の安定性を高められるか。
• RQ3 復元ベースのピッチシフティングは、分布ベースおよびペアワイズ指標の両方で、古典的および拡散ベースのベースラインと比較してどのようか。
• RQ4 WORLDベースの事前情報は、頑健でソースに依存しないピッチシフティングに有益か。
• RQ5 自己教師付きの劣化ペアリングがピッチシフトアーチファクトの復元学習に与える影響は何か。

主な発見

• 未知データに対して、我々の手法がベースラインより分布・スペクトル忠実度の指標で最良を達成。
• 最も低いFréchetオーディオ距離（FAD）、Kernel Inception Distance（KID）、Maximum Mean Discrepancy（MMD）を達成。
• ピッチ精度と声付け決定が大幅に改善され、他手法と比較して低いF0 RMSEとV/UVエラーを実現。
• WORLDは信頼できるf0コントロールのための必要な事前情報として機能し、浅い拡散はアーチファクト除去に焦点を当ててピッチ推定は行わない。
• 本手法は多様な言語・歌唱スタイルで高い性能を示し、言語間・領域跨ぎの一般化性が良好である。