[論文レビュー] DTT-BSR: GAN-based DTTNet with RoPE Transformer Enhancement for Music Source Restoration

Shihong Tan, Haoyu Wang+9 more|arXiv (Cornell University)|Feb 23, 2026

Speech and Audio Processing被引用数 0

ひとこと要約

DTT-BSR は GAN ベースの DTTNet バックボーンに RoPE Transformer ブロックとデュアルパス RNN を組み合わせて音楽ソース復元を行い、7.1M パラメータで ICASSP 2026 MSR Challenge において客観評価・主観評価で競争力のあるスコアを達成。

ABSTRACT

Music source restoration (MSR) aims to recover unprocessed stems from mixed and mastered recordings. The challenge lies in both separating overlapping sources and reconstructing signals degraded by production effects such as compression and reverberation. We therefore propose DTT-BSR, a hybrid generative adversarial network (GAN) combining rotary positional embeddings (RoPE) transformer for long-term temporal modeling with dual-path band-split recurrent neural network (RNN) for multi-resolution spectral processing. Our model achieved 3rd place on the objective leaderboard and 4th place on the subjective leaderboard on the ICASSP 2026 MSR Challenge, demonstrating exceptional generation fidelity and semantic alignment with a compact size of 7.1M parameters.

研究の動機と目的

• 音楽ソース復元をソース分離と劣化信号の復元の両方に拡張する。
• DTTNet ベースの GAN フレームワーク内で長期的な時系列モデリングに RoPE Transformer を活用する。
• マルチ解像度スペクトル処理のためのデュアルパス帯域分割 RNN を組み込む。
• 回帰、対向、特徴マッチング項を組み合わせた複合損失で学習する。

提案手法

• 効率的な U-Net スタイル構造のバックボーンとして DTTNet を採用する。
• 長距離依存関係を捉える RoPE Transformer ブロックを統合する。
• 細かな時間周波数特徴抽出のためにデュアルパス RNN モジュールを使用する。
• マルチブロック処理のために G 特徴へ短時間フーリエ変換とボトルネック射影を適用する。
• 再構成のためにスキップ接続と要素ごとの変調を用いたアップサンプリングを適用する。
• 複合損失として Multi-Mel STFT 損失、ヒンジ対向損失、特徴マッチング損失を用いて学習する。

実験結果

リサーチクエスチョン

• RQ1 RoPE トランスフォーマーを備えた GAN ベースの DTTNet は、モデルサイズを抑えつつ音楽ソース復元の品質を改善できるか？
• RQ2 デュアルパス RNN による多解像度スペクトル処理は劣化したステムの再構成を向上させるか？
• RQ3 RoPE ベースの長期的時系列モデリングは客観的・主観的な MSR 指標にどのような影響を与えるか？
• RQ4 提案手法はベースラインと比べて非ボーカル楽器のステムでどのように性能を発揮するか？

主な発見

Method	MMSNR	Zimtohrli	FAD-CLAP	MOS_Sep	MOS_Restoration	MOS_overall
DTT-BSR	1.4520	0.0182	0.2907	3.5425	2.4768	2.5412
Baseline	0.4020	0.0216	0.7545

• ICASSP 2026 MSR Challenge で客観指標は3位、主観指標は4位を達成。
• モデルサイズは 7.1 百万パラメータとコンパクト。
• MMSNR の顕著な向上と FAD-CLAP の低減をベースラインに対して示す。
• ステムごとの結果ではギター、キーボード、オーケストラのステムで性能が強化。
• 非ボーカル楽器分離で聴覚品質と意味的整合性の改善を実証。