[論文レビュー] SVSGAN: Singing Voice Separation via Generative Adversarial Network

Zhe-Cheng Fan, Yen-Lin Lai+1 more|arXiv (Cornell University)|Oct 31, 2017

Speech and Audio Processing参考文献 22被引用数 5

ひとこと要約

本論文は、周波数ドメインにおける条件付き生成対抗ネットワーク（CGAN）を用いた、新しい音声分離フレームワークであるSVSGANを提案する。教師あり学習で深層ニューラルネットワークの生成器を初期化し、混合スペクトルとクリアスペクトルの分布を比較する判別器を用いた敵対的訓練により、MIR-1K、iKala、DSD100の各データセットにおいて、音声分離性能が向上し、MIR-1Kでは最大6.78 dBのSDR、iKalaでは最大10.32 dBのSDRを達成した。従来のDNNベースラインを上回った。

ABSTRACT

Separating two sources from an audio mixture is an important task with many applications. It is a challenging problem since only one signal channel is available for analysis. In this paper, we propose a novel framework for singing voice separation using the generative adversarial network (GAN) with a time-frequency masking function. The mixture spectra is considered to be a distribution and is mapped to the clean spectra which is also considered a distribtution. The approximation of distributions between mixture spectra and clean spectra is performed during the adversarial training process. In contrast with current deep learning approaches for source separation, the parameters of the proposed framework are first initialized in a supervised setting and then optimized by the training procedure of GAN in an unsupervised setting. Experimental results on three datasets (MIR-1K, iKala and DSD100) show that performance can be improved by the proposed framework consisting of conventional networks.

研究の動機と目的

• モノラル音声分離の課題に取り組む。この課題では、単一の音声混合信号しか入手できない。深層生成モデルを活用することで解決を図る。
• 敵対的訓練を用いることで、従来の教師あり深層ニューラルネットワーク（DNN）を上回る分離性能を実現する。
• 時間周波数マスクを用いた条件付きGANを活用し、混合スペクトルからクリアスペクトルの分布をモデル化する。
• 教師あり学習で生成器を事前学習し、その後に教師なしGANによる微調整を行うことで、分離品質が向上することを示す。

提案手法

• フレームワークは、混合スペクトルを入力としてクリアなボーカルおよびバックグラウンド音楽スペクトルにマップする条件付きGAN（CGAN）を用いる。
• 各スペクトルは分布からのサンプルベクトルとして扱われ、GANは混合スペクトルの分布とクリアスペクトルの分布の間の非線形マッピングを学習する。
• 生成器は、敵対的微調整の前に、クリアスペクトルと混合スペクトルの両方を用いた教師あり損失により事前学習される。
• 判別器は、実際のクリアスペクトルと生成されたスペクトルを区別するように訓練され、混合スペクトルを条件入力として用いることで、一般化性能が向上する。
• 時間周波数マスク関数は、生成器の出力から導出され、最終的な分離信号の再構築に用いられる。
• モデルは、学習および評価のためのマグニチュードスペクトル抽出に、1024点の窓サイズと256点のホップサイズを用いたSTFTを採用する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANを周波数ドメインに適用し、敵対的訓練を施すことにより、音声分離性能が向上するか？
• RQ2 生成器を教師あり設定で事前学習し、その後にGANによる微調整を行うことで、完全に教師ありDNNと比較して分離品質が向上するか？
• RQ3 判別器に混合スペクトルを条件入力として組み込むことで、分離モデルの性能にどのような影響を与えるか？
• RQ4 判別器への入力数（例：混合、ボーカル、バックグラウンド）を増やすことで、多様な音楽ジャンルにわたる一般化能力がどの程度向上するか？

主な発見

• MIR-1Kデータセットでは、SVSGANはV+B+M設定で重み付き平均SDRが6.78 dBを達成し、ベースラインDNN（6.57 dB）を上回った。
• iKalaデータセットでは、SVSGANはV+B+M設定で重み付き平均SDRが10.32 dBを達成し、ベースラインDNN（9.74 dB）を上回った。
• 混合スペクトルを判別器の入力として使用するSVSGAN（V+M）設定は、SVSGAN（V+B）設定よりも優れた結果を示し、混合信号からの構造的学習が向上したことを示した。
• ボーカル、バックグラウンド、混合の3つの入力を含むSVSGAN（V+B+M）設定は、最高の性能を達成した。これは、マルチ入力条件付き処理が判別器の一般化能力を強化していることを示唆している。
• DSD100データセットでは、SVSGAN（V+B+M）モデルがテストセットで中央値SDR10.32 dBを達成し、限られた学習データとデータオーグメンテーションなしでも有効性を示した。
• 結果から、条件付きGANを用いた敵対的訓練により、複雑で多様な音楽ジャンルにおいても、音声分離性能が顕著に向上することが示された。