[論文レビュー] Dilated Convolution with Dilated GRU for Music Source Separation

Jen-Yu Liu, Yi‐Hsuan Yang|arXiv (Cornell University)|Jun 4, 2019

Speech and Audio Processing参考文献 24被引用数 5

ひとこと要約

本論文では、拡張畳み込みと変更された拡張GRUを組み合わせた新しい深層学習アーキテクチャ、D2ブロックを提案する。kステップの受容 field を介して再帰的ユニットが遠く離れた時系列的文脈に注目できるようにすることで、ボーカルとアレンジメントの分離において最先端の性能を達成し、従来手法よりもSDRで0.25 dBおよび0.57 dB優れている。

ABSTRACT

Stacked dilated convolutions used in Wavenet have been shown effective for generating high-quality audios. By replacing pooling/striding with dilation in convolution layers, they can preserve high-resolution information and still reach distant locations. Producing high-resolution predictions is also crucial in music source separation, whose goal is to separate different sound sources while maintaining the quality of the separated sounds. Therefore, this paper investigates using stacked dilated convolutions as the backbone for music source separation. However, while stacked dilated convolutions can reach wider context than standard convolutions, their effective receptive fields are still fixed and may not be wide enough for complex music audio signals. To reach information at remote locations, we propose to combine dilated convolution with a modified version of gated recurrent units (GRU) called the `Dilated GRU' to form a block. A Dilated GRU unit receives information from k steps before instead of the previous step for a fixed k. This modification allows a GRU unit to reach a location with fewer recurrent steps and run faster because it can execute partially in parallel. We show that the proposed model with a stack of such blocks performs equally well or better than the state-of-the-art models for separating vocals and accompaniments.

研究の動機と目的

• 長時間の音楽オーディオ信号における長距離時系列依存性を捉える課題に取り組むこと。
• 逐次的にシーケンスを処理する標準的な再帰的ネットワークでは、速度と効率が制限されることを改善すること。
• 広い文脈的受容域を実現するための拡張畳み込みを活用するとともに、改良された再帰的ユニットを統合して有効受容域をさらに拡張すること。
• ボーカルとアレンジメント分離タスクにおいて最先端の分離性能を達成するとともに、推論速度を向上させること。

提案手法

• 拡張畳み込みと、拡張GRUと呼ばれる改良されたゲート付き再帰ユニット（GRU）を組み合わせたD2ブロックアーキテクチャを提案する。
• 拡張GRUは直前のステップではなく、kステップ前の隠れ状態を入力とし、より高速で部分的に並列処理が可能な計算を可能にする。
• 複数のD2ブロックをスタックして深層ネットワークを構築し、時系列層にわたって段階的にソース表現を精錬する。
• 入力としてマグニチュードスペクトログラムを用い、エンド・トゥ・エンドでソース固有のスペクトログラムを予測する。入力から最終出力へのスキップ接続を採用する。
• 入力を最終ブロックの出力に加算するリサイジングのような接続を採用し、特徴の意味的安定性を向上させる。
• 評価のための信号対歪み比（SDR）に基づく損失関数を用いて、モデルをエンド・トゥ・エンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みと改良された再帰ユニットを組み合わせることで、音楽ソース分離における長距離モデリングが向上するか？
• RQ2 標準的なGRUと比較して、拡張GRUのkステップ再帰は推論速度と性能にどのように影響するか？
• RQ3 個々のD2ブロックが最終的な分離品質に果たす寄与は何か？また、ブロックを追加するに従って性能はどのように変化するか？
• RQ4 モデルのアーキテクチャは、層に跨るソース表現の段階的精錬を可能にするか？これは中間出力から観察できるか？

主な発見

• GRUの拡張率=1のモデルでは、ボーカルで6.74 dB、アレンジメントで13.25 dBのSDRを達成し、最先端モデルをそれぞれ0.25 dBおよび0.57 dB上回った。
• GRUの拡張率=2のモデルでは、ボーカルで6.74 dB、アレンジメントで13.25 dBのSDRを達成し、最良の性能を維持しながら、拡張率=1と比較して推論時間を20%短縮した。
• 実行時間は、拡張率=1の423±4.90 msから、拡張率=4の327±10.2 msに減少し、拡張率を増やすことで顕著な高速化が確認された。
• D2ブロックを段階的に追加することで分離性能が向上：ボーカルのSDRは、ブロックなしで0.82 dBから、すべてのブロックを追加した段階で6.74 dBに上昇し、段階的精錬が確認された。
• 波形の可視化から、ブロックを追加するに従いボーカルや他のソースの活性度が増加する一方で、「その他のソース」の活動度は低下しており、動的な情報ルーティングが行われていることが示唆された。
• モデルの性能はブロック数にかかわらず安定しており、3ブロックと4ブロックではほぼ同一の結果を示し、3ブロックで既に最適な容量に達していることが示された。