[論文レビュー] Multi-scale Multi-band DenseNets for Audio Source Separation

Naoya Takahashi, Yuki Mitsufuji|arXiv (Cornell University)|Jun 29, 2017

Speech and Audio Processing参考文献 22被引用数 18

ひとこと要約

本稿では、長期間の文脈と周波数帯に特化したパターンをモデル化するため、マルチスケールの密接接続ブロックとバンド別学習を導入したマルチスケールマルチバンドDenseNets（MMDenseNet）を提案する。この手法はSiSEC 2016で最先端のSDR性能を達成し、過去最高の結果より0.97 dB向上したが、パラメータ数はわずか3.6%であり、競合モデルと比較して著しく短い学習時間を要した。

ABSTRACT

This paper deals with the problem of audio source separation. To handle the complex and ill-posed nature of the problems of audio source separation, the current state-of-the-art approaches employ deep neural networks to obtain instrumental spectra from a mixture. In this study, we propose a novel network architecture that extends the recently developed densely connected convolutional network (DenseNet), which has shown excellent results on image classification tasks. To deal with the specific problem of audio source separation, an up-sampling layer, block skip connection and band-dedicated dense blocks are incorporated on top of DenseNet. The proposed approach takes advantage of long contextual information and outperforms state-of-the-art results on SiSEC 2016 competition by a large margin in terms of signal-to-distortion ratio. Moreover, the proposed architecture requires significantly fewer parameters and considerably less training time compared with other methods.

研究の動機と目的

• 混合音源から各音源のスペクトログラムを推定するために深層ニューラルネットワークを活用し、音声源分離の不適切な定式化を緩和する。
• RNN や標準的なCNNといった既存のアーキテクチャの限界を克服するため、長距離の時間的文脈と微細な時間周波数構造を効率的に捉えるモデルを設計する。
• BLSTM や BLEND といった最先端の手法と比較して、性能を維持または向上させつつ、モデルの複雑さと学習時間を削減する。
• 周波数帯ごとの異なるスペクトル的特性に適応できるバンド専用の密接接続ブロックを導入することで、特徴の学習を向上させる。
• スキップ接続とアップサンプリング層を備えたマルチスケールで完全に畳み込み型のDenseNetアーキテクチャにより、効率的な特徴再利用と文脈モデリングを実現する。

提案手法

• ダウンサンプリングおよびアップサンプリング層を導入することでDenseNetを拡張し、マルチスケールの密接接続ブロックを構築することで、グローバルな文脈（低分解能）とローカルな詳細（高分解能）の両方をモデル化可能にする。
• ダウンサンプリングルートとアップサンプリングルートの間でスキップ接続を統合し、スケール間で情報の保存と伝達を促進することで、特徴再利用を強化する。
• 特定の周波数帯ごとに別々に処理するバンド専用の密接接続ブロックを実装し、カーネルが低周波帯のトニクスや高周波帯のトランジェントエネルギーといったバンド固有のスペクトル的特性に焦点を当てる。
• グローバルな特徴とバンド固有の特徴を統合することで、スペクトログラムにおける広範なスペクトル的パターンと局所的な構造を同時にモデル化する。
• 完全に畳み込み型のレイヤーを全般に使用することで、空間的および周波数的分解能を維持し、全結合層を避けてパラメータ数を削減する。
• 低分解能出力がアップサンプリングされ、高分解能特徴と連結される多段階アーキテクチャを採用することで、階層的特徴学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールDenseNetアーキテクチャは、計算効率を維持したまま、音声源分離における長期的時間的文脈を効果的にモデル化できるか？
• RQ2 バンド専用の密接接続ブロックを組み込むことで、異なる周波数帯の統計的特性への適応性が向上し、性能が向上するか？
• RQ3 最先端のRNNベースおよびハイブリッドDNN手法と比較して、提案手法はどの程度モデルサイズと学習時間を削減できるか？
• RQ4 スキップ接続とアップサンプリングパスは、マルチスケール設定における特徴学習と性能向上にどのように寄与するか？
• RQ5 提案手法は、パラメータ数を著しく減らしたにもかかわらず、SiSEC 2016の最先端のBLENDシステムを上回るSDR性能を達成できるか？

主な発見

• MMDenseNetはSiSEC 2016 DSD100データセットにおいて平均4.94 dBの信号対歪み比（SDR）を達成し、以前の最先端のBLEND手法を0.97 dB上回った。
• 追加のMedleyDBファインチューニングを施したMMDenseNet+は、ドラムを除くすべての楽器で最高の全体的性能を達成した。
• MMDenseNetはパラメータ数が0.31百万（BLENDの871万の3.6%）にとどまり、顕著なモデルのコンパクトさを示した。
• MMDenseNet+の学習時間は79時間にまで短縮されたのに対し、BLENDは471時間であったため、ハイパーパramータチューニングや適応に向けた迅速なプロトタイピングが可能になった。
• スキップパスとアップサンプリングパスのl2ノルム解析により、すべてのスケールにおける密接接続ブロックが特徴学習に有意に寄与していることが確認され、マルチスケール設計の有効性が裏付けられた。
• 本手法はBLSTMおよびFNNベースラインを上回り、パラメータ数と学習時間の両方を減らしたにもかかわらず、性能を維持または上回った。