[論文レビュー] Voice and accompaniment separation in music using self-attention convolutional neural network

Yuzhou Liu, Balaji Thoshkahna+2 more|arXiv (Cornell University)|Mar 19, 2020

Speech and Audio Processing参考文献 16被引用数 19

ひとこと要約

本稿では、音楽におけるボーカルとアコーディオンの分離に向け、自己注意サブネットを密度結合UNetアーキテクチャに統合した自己注意畳み込みニューラルネットワーク（Self-Attention Dense-UNet）を提案する。長期間にわたる音楽的繰り返しをモデル化することで、ベースライン比でボーカル分離SDRに19.5%の相対的改善を達成し、MMDenseLSTM や MMDenseNet などの最先端モデルを上回る性能を示した。

ABSTRACT

Music source separation has been a popular topic in signal processing for decades, not only because of its technical difficulty, but also due to its importance to many commercial applications, such as automatic karoake and remixing. In this work, we propose a novel self-attention network to separate voice and accompaniment in music. First, a convolutional neural network (CNN) with densely-connected CNN blocks is built as our base network. We then insert self-attention subnets at different levels of the base CNN to make use of the long-term intra-dependency of music, i.e., repetition. Within self-attention subnets, repetitions of the same musical patterns inform reconstruction of other repetitions, for better source separation performance. Results show the proposed method leads to 19.5% relative improvement in vocals separation in terms of SDR. We compare our methods with state-of-the-art systems i.e. MMDenseNet and MMDenseLSTM.

研究の動機と目的

• クリアなソースレコーディングが利用できない状況下でも、深層学習を用いてボーカルとアコーディオンの分離を向上させること。
• 音楽における長期間の時間的依存関係と繰り返しをモデル化する課題に取り組み、正確なソース分離に不可欠な要因を捉えること。
• 自己注意メカニズムを密度結合畳み込みアーキテクチャに統合することで、MMDenseNet や MMDenseLSTM などの既存最先端モデルを上回る性能を実現すること。
• 自己注意サブネットが音楽内の繰り返しパターンを効果的に捉え、再構成品質を向上させることを示すこと。

提案手法

• ベースモデルとしてDense-UNetアーキテクチャを採用し、標準的な畳み込み層の代わりに密度結合CNNブロック（DenseNet）を用いることで、特徴の再利用を向上させ、勾配消失を軽減する。
• ネットワークの複数の段階に自己注意サブネットを挿入し、音楽の時間周波数表現における長距離依存関係と繰り返しをモデル化する。
• 自己注意メカニズムは特徴マップからクエリ、キー、バリューを計算し、ソフトマックス正規化されたドット積を用いて時間的・周波数的に関連するパターンに注目する。
• 入力として混合音のマグニチュードSTFTを用い、1×1畳み込み層によりソフトマスクを予測し、入力と要素ごとに乗算することでソース信号を再構成する。
• 損失関数は、マスク処理後の出力と真値のマグニチュードSTFTとの間のL1ノルムであり、初期学習率5e-5で最適化するADAM最適化手法を用いる。
• 推論時、1250フレームの重複窓を用い、3/4の重複率で処理を行い、結果を平均することで耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 自己注意メカニズムは、音楽における長期間の繰り返しを効果的にモデル化でき、ボーカルとアコーディオンの分離性能を向上させることができるか？
• RQ2 Dense-UNetアーキテクチャに自己注意を統合することで、標準的なCNNやRNNベースのモデルと比較して性能がどのように向上するか？
• RQ3 提案手法は、オラクルマグニチュードSTFT性能との差をどの程度縮められるか？
• RQ4 スペクトルマスキングの課題がより顕著なボーカルに対して、自己注意の追加がアコーディオンよりもより大きな改善をもたらすか？

主な発見

• 提案された自己注意Dense-UNetは、自己注意なしのDense-UNetベースラインと比較して、ボーカル分離SDRに19.5%の相対的改善を達成した。
• 絶対的SDRでは、ボーカルで1.5 dB、アコーディオンで1.19 dBの向上を達成し、それぞれ22.8%および9.2%の相対的改善を示した。
• 公開テストセットでは、アコーディオン分離SDRが13.90 dB、ボーカル分離SDRが7.72 dBを達成し、MMDenseNet（12.10 dBおよび6.00 dB）およびMMDenseLSTM（12.73 dBおよび6.31 dB）を上回った。
• MMDenseLSTMとの比較では、アコーディオン分離で14.9%、ボーカル分離で28.7%の相対的SDR向上を示し、ボーカル分離において顕著な優位性を示した。
• 提案モデルとオラクルマグニチュードSTFTとの差は、すべての指標で2–3 dBにとどまり、理論的限界に非常に近い性能であることを示した。
• MMDenseLSTMにBLSTM層を追加しても、MMDenseNetに比べて僅かな改善しか得られず、このタスクではRNNが提案された自己注意メカニズムよりも効果が劣ることが示唆された。