[論文レビュー] MMDenseLSTM: An efficient combination of convolutional and recurrent neural networks for audio source separation

Naoya Takahashi, Nabarun Goswami+1 more|arXiv (Cornell University)|May 7, 2018

Speech and Audio Processing被引用数 6

ひとこと要約

本論文では、マルチスケール・マルチバンドの長短期記憶（LSTM）ネットワークとDenseNetを統合することで、音声ソース分離を向上させる新しいアーキテクチャ、MMDenseLSTMを提案する。アップサンプリングパスにおける低スケールにLSTM層を戦略的に挿入し、スキップ接続を活用することで、DSD100およびMUSDB18のベンチマークで最先端の性能を達成した。MMDenseNetやブレンドされたLSTM-CNNモデルを上回り、パラメータ数を24倍も削減したにもかかわらず、ボーカルおよびアコーディオン分離において理想のバイナリマスクをも上回った。

ABSTRACT

Deep neural networks have become an indispensable technique for audio source separation (ASS). It was recently reported that a variant of CNN architecture called MMDenseNet was successfully employed to solve the ASS problem of estimating source amplitudes, and state-of-the-art results were obtained for DSD100 dataset. To further enhance MMDenseNet, here we propose a novel architecture that integrates long short-term memory (LSTM) in multiple scales with skip connections to efficiently model long-term structures within an audio context. The experimental results show that the proposed method outperforms MMDenseNet, LSTM and a blend of the two networks. The number of parameters and processing time of the proposed model are significantly less than those for simple blending. Furthermore, the proposed method yields better results than those obtained using ideal binary masks for a singing voice separation task.

研究の動機と目的

• 畳み込みネットワークと再帰ネットワークの長所を組み合わせることで、音声ソース分離（ASS）の性能を向上させること。
• 標準的なCNNとRNNが長期的な音声依存関係を効率的にモデル化するのには限界があることに対処し、パラメータ使用量を効率的に抑えること。
• マルチスケールおよびマルチバンドの特徴学習を活用することで、より柔軟なモデル化と性能向上を実現するハイブリッドアーキテクチャを設計すること。
• LSTMとCNNアーキテクチャを単純にブレンドするのとは異なり、モデルの複雑さと学習時間を低減すること。
• DSD100およびMUSDB18のベンチマークデータセットで最先端の結果を達成するとともに、計算効率を維持すること。

提案手法

• 本手法は、アップサンプリングパスに複数のスケールにわたって挿入されたマルチスケール・マルチバンドDenseNetとLSTMを統合したハイブリッドアーキテクチャ、MMDenseLSTMを導入する。
• 同じスケールにおけるドライブループブロックとLSTM層の間にスキップ接続を設け、勾配の流れと特徴の再利用を促進する。
• 各周波数帯域が専用のCNNで処理されるマルチバンド設計を採用することで、フルバンドカーネルに比べてモデルの柔軟性が向上する。
• アップサンプリングパスの低スケール（例：スケール3）にLSTM層を挿入することで、局所的特徴を用いてグローバルな変調を効率的にモデル化する。
• 1次元畳み込み、バッチ正則化、ReLU、およびドライブループ接続を組み合わせることで、効率的な特徴学習と勾配の流れを実現する。
• アブレーションスタディでは、異なるLSTM挿入戦略と構成（Sa、Sb、Pタイプ）を比較し、最適なアーキテクチャを同定した。

実験結果

リサーチクエスチョン

• RQ1 マルチバンドDenseNetアーキテクチャに複数のスケールでLSTMを統合することで、音声ソース分離の性能が向上するか？
• RQ2 アップサンプリングパスの低スケールにLSTMを挿入することで、高スケールやダウンサンプリングパスに挿入するのと比較して、より優れた性能が得られるか？
• RQ3 提案されたMMDenseLSTMアーキテクチャは、MMDenseNetおよびLSTMとMMDenseNetの単純なブレンドモデルを上回るSDRとパラメータ効率性を達成できるか？
• RQ4 より大きなデータセットで学習した場合、ハイブリッドモデルは理想のバイナリマスク（IBM）ベースラインを上回るか？
• RQ5 マルチスケール・マルチバンド設定において、ドライブループブロックとLSTM層を組み合わせる最適な構成（例：Sa、Sb、P）は何か？

主な発見

• DSD100データセットでは、MMDenseLSTMが平均SDR 12.73 dBを達成し、MMDenseNet（12.10 dB）を0.63 dB、BLEND（11.70 dB）を1.03 dB上回った。
• MUSDB18データセットでは、MMDenseLSTMが平均SDR 16.40 dBを達成し、MMDenseNet（15.41 dB）を0.99 dB上回り、BLEND2（16.04 dB）を0.36 dB上回った。
• アコーディオンソース分離において、理想のバイナリマスク（IBM）の10.83 dBを上回り、MMDenseLSTMでは16.40 dBを達成した。
• わずか122万パラメータで運用されたにもかかわらず、BLSTMとMMDenseNetの単純なブレンド（3036万パラメータ）を上回る性能を発揮し、24倍のパラメータ効率性を示した。
• スケール3のドライブループブロックの後にLSTMを挿入するSa構成が最良の性能を示し、スケール配置の重要性を裏付けた。
• LSTM特徴マップの$l^2$ノルムは、ドライブループ特徴マップの最高ノルムと同等であり、LSTMが顕著で重複のない表現を学習していることを示している。