[論文レビュー] Does Phase Matter For Monaural Source Separation?

Mohit L. Dubey, Garrett T. Kenyon+2 more|arXiv (Cornell University)|Nov 2, 2017

Speech and Audio Processing参考文献 12被引用数 3

ひとこと要約

本論文は、神経的に妥当なスパース生成モデルを用いたモノラル音源分離において、スペクトル表現における位相情報の保持が性能を向上させるかを調査している。位相を保持したスペクトログラムと位相を破棄したスペクトログラムの両方で畳み込み型局所的競合アルゴリズム（LCA）を学習させた結果、位相の保持によりアーティファクトが低減され（復元後におけるGSAR = 2.88）、最先端のGSIR 19.46を達成した。これは、高精度な音声分離において位相情報が果たす重要な役割を示している。

ABSTRACT

The "cocktail party" problem of fully separating multiple sources from a single channel audio waveform remains unsolved. Current biological understanding of neural encoding suggests that phase information is preserved and utilized at every stage of the auditory pathway. However, current computational approaches primarily discard phase information in order to mask amplitude spectrograms of sound. In this paper, we seek to address whether preserving phase information in spectral representations of sound provides better results in monaural separation of vocals from a musical track by using a neurally plausible sparse generative model. Our results demonstrate that preserving phase information reduces artifacts in the separated tracks, as quantified by the signal to artifact ratio (GSAR). Furthermore, our proposed method achieves state-of-the-art performance for source separation, as quantified by a mean signal to interference ratio (GSIR) of 19.46.

研究の動機と目的

• スペクトル表現における位相情報がモノラル音源分離性能を向上させるかどうかを調査すること。
• 神経的インスピレーションを受けるスパースコーディングモデルにおける位相の役割を評価すること。
• 生成的スパースモデルを用いて音楽からのボーカル分離において、位相保持型と位相破棄型のアプローチを比較すること。
• 生物学的に妥当なモデルを維持しつつ、モノラル音源分離で最先端の性能を達成すること。

提案手法

• MIR-1Kデータセットの2秒間音声クリップを用い、位相を保持したスペクトログラムと位相を破棄したスペクトログラムの両方で、畳み込み型局所的競合アルゴリズム（LCA）を学習した。
• 膜電位を用いたソフトスレッショルド活性化関数を採用し、スパース性と神経的妥当性を確保した。
• 局所的ヘブシアン則則とモーメンタムを用いた反復的確率的勾配降下法により、基本ベクトルを最適化した。
• ノイズ除去性能を最適化するためにスパースネス閾値を調整し、0.625が最適であると判明。これにより平均で約2.8%のスパースネスが得られた。
• 学習集合およびテスト集合に対してスパースコードを生成し、これらのコード上で訓練された線形分類器を用いてボーカルと非ボーカルを分離した。
• 分離されたステムに対して2度目のノイズ除去プロセスを適用し、最良の性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 スペクトル表現における位相情報の保持は、モノラル音源分離におけるアーティファクトの低減に寄与するか？
• RQ2 神経的に妥当なスパース生成モデルは、音楽からのボーカル分離において最先端の性能を達成できるか？
• RQ3 位相の保持は、ブランケットソース分離における信号対干渉比（SIR）および信号対アーティファクト比（SAR）にどのように影響するか？
• RQ4 スパースコーディングフレームワークにおいて、正確なスペクトロテンポラル受容場を学習するために位相情報は必須か？

主な発見

• 位相情報の保持は、復元後におけるGSARが2.88（位相破棄モデルでは-9.72）であったことから、アーティファクトの顕著な低減を示した。
• 位相保持モデルは、復元後条件下で平均GSIRが19.46に達し、モノラル音源分離分野における最先端性能を達成した。
• ノイズ除去を行わない状態でも、位相保持モデルはGSIRが12.12とわずかに低かったが、位相破棄モデルに比べて一貫してアーティファクト抑制が優れていた。
• 復元後の位相ベース分離では、GNSDRが5.21に達し、全体的な音源品質が向上し、歪みが低減していることが示された。
• 最適なスパースネス閾値は0.625であり、データセット全体で平均2.8%のスパースネスが得られた。
• 可視化分析により、位相保持再構成がスペクトル構造をより良く保持しており、高周波数領域での不審なエネルギーの発生を回避していることが確認された。