[論文レビュー] Hybrid Spectrogram and Waveform Source Separation

Alexandre Défossez|arXiv (Cornell University)|Nov 5, 2021

Speech and Audio Processing参考文献 30被引用数 71

ひとこと要約

この論文は Hybrid Demucs を提示します。時系列（Waveform）とスペクトログラム領域を組み合わせたエンドツーエンドの音源分離モデルで、 waveform のみ・spectrogram のみのアプローチより改善を達成し、MDX 2021 コンペティションで優勝しました。

ABSTRACT

Source separation models either work on the spectrogram or waveform domain. In this work, we show how to perform end-to-end hybrid source separation, letting the model decide which domain is best suited for each source, and even combining both. The proposed hybrid version of the Demucs architecture won the Music Demixing Challenge 2021 organized by Sony. This architecture also comes with additional improvements, such as compressed residual branches, local attention or singular value regularization. Overall, a 1.4 dB improvement of the Signal-To-Distortion (SDR) was observed across all sources as measured on the MusDB HQ dataset, an improvement confirmed by human subjective evaluation, with an overall quality rated at 2.83 out of 5 (2.36 for the non hybrid Demucs), and absence of contamination at 3.04 (against 2.37 for the non hybrid Demucs and 2.44 for the second ranking model submitted at the competition).

研究の動機と目的

• スペクトログラムと波形表現を組み合わせて、各ドメインの相補的なバイアスを活用する目的で音源分離を動機づける。
• Demucs アーキテクチャを並列の時系列（テンポラル）とスペクトルブランチ、共有コアで拡張する。
• 圧縮残差ブランチ、ローカルアテンション、特異値正則化を用いて安定性と性能を向上させる。
• MusDB HQ および MDX チャレンジデータセットで評価し、人間の知覚評価を含める。

提案手法

• Demucs の U-Net を二つの並列ブランチに拡張する：時系列波形ブランチとスペクトル（STFT ベース）ブランチ。
• 周波数ごとの畳み込みを用いてスペクトルデータを処理し、周波数ビンを段階的に減らして時系列特徴と整合させる。
• 共有のエンコーダ/デコーダコアで時系列とスペクトル表現を統合し、ジョイントな波形出力を生成。
• 拡張畳み込み、BiLSTM、局所アテンションを用いた圧縮残差ブランチを導入し、長距離および局所コンテキストを捉える。
• LayerScale と正規化戦略を用いて学習を安定化させ、特異値正則化を適用して一般化を向上させる。
• MusDB HQ および MDX データセットで訓練・評価を行い、スペクトログラムのみ・波形のみのベースラインと比較する。人間の MOS およびブリーディング評価を含む。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのハイブリッド波形-スペクトログラムモデルは、ドメイン特化モデルより音源分離で優れているか。
• RQ2 ハイブリッド設定でパフォーマンスと安定性を最も改善するアーキテクチャ要素（圧縮残差、局所アテンション、BiLSTM）はどれか。
• RQ3 Hybrid Demucs は MDX および MusDB HQ で、ドラム、ベース、その他、ボーカルの各ソースにおいて最先端ベースラインと比較してどうか。
• RQ4 ハイブリッドモデルと波形のみ・スペクトログラムのみモデルとの主観的品質および混濁（bleeding）の特徴はどうか。

主な発見

方法	全体	ドラム	ベース	その他	ボーカル
Hybrid Demucs	7.33	8.04	8.12	5.19	7.97

• Hybrid Demucs は MDX Track A（MusDB HQ 訓練）で 7.32 dB SDR、Track B では追加データありで 8.11 dB を達成し、ベースラインと比較して高い成績を示した。
• MDX Track A において、Hybrid Demucs は Other および Vocals の nSDR をいくつかのベースラインより顕著に改善したが、これらのソースで最もトータルにトップの純粋スペクトログラムベースモデルを必ずしも上回るわけではなかった。
• MusDB HQ では Hybrid Demucs は Drums および Bass の SDR が最高を示し、Other および Vocals では waveform のみの Demucs より大幅に改善した一方、KUIELAB-MDX-Net はいくつかのソースで依然として競合的または優れていた。
• 人間の評価は Hybrid Demucs によるブリーディングの大幅な低減を示す一方、知覚品質の改善はソースによって混在しており、Vocals はスペクトログラムベースや他の特化モデルで最も良好に扱われる傾向がある。
• アブレーション研究は、Local Attention と時系列・ハイブリッドモデルの組み合わせが性能向上に重要であり、EMA と SVD ペナルティにより安定性が高まることを示している。