[論文レビュー] Denoising Auto-encoder with Recurrent Skip Connections and Residual Regression for Music Source Separation

Jen-Yu Liu, Yi‐Hsuan Yang|arXiv (Cornell University)|Jul 5, 2018

Speech and Audio Processing参考文献 6被引用数 8

ひとこと要約

本論文では、1次元畳み込み、再帰的スキップ接続、および残差回帰を備えたノイズ除去オートエンコーダーであるARCを提案する。時間軸に沿った1次元畳み込みを適用することで、中間特徴量に再帰層を直接適用可能となり、時間的モデリングが向上する。残差回帰により、MUSDB18テストセットにおけるボーカルのSDRが5.74に達し、ベースラインモデルを上回る性能を発揮した。

ABSTRACT

Convolutional neural networks with skip connections have shown good performance in music source separation. In this work, we propose a denoising Auto-encoder with Recurrent skip Connections (ARC). We use 1D convolution along the temporal axis of the time-frequency feature map in all layers of the fully-convolutional network. The use of 1D convolution makes it possible to apply recurrent layers to the intermediate outputs of the convolution layers. In addition, we also propose an enhancement network and a residual regression method to further improve the separation result. The recurrent skip connections, the enhancement module, and the residual regression all improve the separation quality. The ARC model with residual regression achieves 5.74 siganl-to-distoration ratio (SDR) in vocals with MUSDB in SiSEC 2018. We also evaluate the ARC model alone on the older dataset DSD100 (used in SiSEC 2016) and it achieves 5.91 SDR in vocals.

研究の動機と目的

• 完全畳み込みネットワーク内で時間的特徴量の再帰的モデリングを活用することで、音楽ソース分離の性能を向上させること。
• 専用の強化モジュールを用いて、特にボーカルにおいて残余ノイズやアーティファクトを低減すること。
• 残差学習により推定値を繰り返し精錬する残差回帰を用いて分離性能を向上させること。
• 一般化性能と競争力のある性能を評価するため、MUSDB18およびDSD100データセットの両方でモデルを評価すること。
• 重み正則化、再帰層の配置、スキップ接続設計といったアーキテクチャ的選択を最適化するための検討を行うこと。

提案手法

• コアモデルであるARCは、時間軸に沿った1次元畳み込みを用い、順序構造を保持することで、特徴マップに再帰層を直接適用可能にする。
• 再帰的スキップ接続は、スキップ接続特徴量にゲート付き再帰ユニット（GRU）を適用することで実装され、長距離時間的依存性が強化される。
• 強化モジュールは、固定された分離モデル重みを用いたノイズ除去オートエンコーダーとして学習され、推論後に出力を精錬することで微小なアーティファクトを低減する。
• 残差回帰は、分離モデルを繰り返し適用する形で実装され、各出力が直前の推定値とモデルが予測する残差の和として得られる。
• わずかな目的指標の妥協を差し引いても、主観的音質を向上させるためにバッチ正則化ではなく重み正則化が用いられる。
• モデルは対数振幅スペクトログラムを処理し、入力は log(1 + 混合スペクトログラム)、出力は log(1 + ソーススペクトログラム) として定義される。

実験結果

リサーチクエスチョン

• RQ1 標準的なスキップ接続と比較して、スキップ接続特徴量に再帰層を適用することで、音楽ソース分離性能が向上するか？
• RQ2 専用の強化モジュールによる後処理は、分離ボーカルにおける知覚的アーティファクトを低減するか？
• RQ3 繰り返し残差学習により推定値を精錬することで、残差回帰が分離品質を向上させられるか？
• RQ4 時間軸に沿った1次元畳み込みは、2次元畳み込みと比較して、再帰ネットワークの統合をどのように改善するか？
• RQ5 正則化手法（重み正則化 vs. バッチ正則化）は、目的指標のSDRおよび主観的音質にどのような影響を及けるか？

主な発見

• 残差回帰を備えたARCモデルは、MUSDB18データセットにおけるボーカルで5.74のSDRを達成し、アンサンブルモデルでないモデルの中では最先端の性能を示した。
• DSD100データセットでは、ARCモデル単体でボーカルのSDRが5.91に達し、MMDenseNetおよびMMDenseLSTMモデルに次ぐ2位の順位を記録した。
• スキップ接続特徴量に再帰層を適用した場合が最も優れた性能を示し、逆コンボリューション層の後やエンコーダー経路に配置した場合を上回った。
• 重み正則化はバッチ正則化よりも主観的にノイズの少ない音声を生成したが、バッチ正則化はほとんどのソースでわずかに優れた目的指標のSDRスコアを達成した。
• 強化モジュールと残差回帰の両方が分離性能の向上に寄与しており、特に残差回帰はボーカルの明瞭性向上とアーティファクト低減に顕著な効果を示した。
• スペクトログラムの比較から、推定出力は周波数構造において真値と一致しているが、シャープさに欠け、ノイズが強い状態であることが示され、今後の改善の余地があることが明らかになった。