[論文レビュー] Separation of Instrument Sounds using Non-negative Matrix Factorization with Spectral Envelope Constraints

Jeongsoo Park, Jaeyoung Shin+1 more|arXiv (Cornell University)|Jan 12, 2018

Speech and Audio Processing参考文献 30被引用数 3

ひとこと要約

本稿では、線形予測を用いてスペクトルエンベロープ制約を組み込んだ非負値行列分解（NMF）手法を提案し、音色の正確な再現を向上させる。NMFの基底成分のスペクトルエンベロープ部を、楽器固有または学習されたエンベロープで制約することで、特にブランク（盲検）状況下でも、従来のNMFおよび最先端手法を上回る分離性能を達成し、SDR、SIR、SARの指標で優れた結果を示した。

ABSTRACT

Spectral envelope is one of the most important features that characterize the timbre of an instrument sound. However, it is difficult to use spectral information in the framework of conventional spectrogram decomposition methods. We overcome this problem by suggesting a simple way to provide a constraint on the spectral envelope calculated by linear prediction. In the first part of this study, we use a pre-trained spectral envelope of known instruments as the constraint. Then we apply the same idea to a blind scenario in which the instruments are unknown. The experimental results reveal that the proposed method outperforms the conventional methods.

研究の動機と目的

• スペクトログラムベースの源分離において、スペクトルエンベロープが重要な音色特徴であることを踏まえ、楽器の音色を正確にモデル化する課題に取り組む。
• 従来のNMF手法が分解過程でスペクトルエンベロープ情報を効果的に活用できないという限界を克服する。
• 事前に学習された楽器固有のスペクトルエンベロープを制約として用いる、インフォームドな源分離手法の開発。
• 真の楽器エンベロープが不明な盲検状況においても、データから代表的なエンベロープを学習することで、インフォームド手法を拡張する。
• SDR、SIR、SARなどの客観的指標を用いて、提案手法を最先端技術と比較評価する。

提案手法

• 本手法は、NMFを用いてスペクトログラムを基底ベクトルと活性化行列に分解するが、線形予測を用いて基底ベクトルをスペクトルエンベロープ部と励起部に明示的に分離する。
• スペクトルエンベロープ制約は、反復的NMF最適化の過程で、基底ベクトルのエンベロープ部がターゲットエンベロープに近づくように強制することで適用される。
• インフォームドケースでは、既知の楽器（例：バイオリン、クラリネット）の事前学習済みモデルからターゲットスペクトルエンベロープが得られる。
• ブラインドケースでは、活性化の大きさに基づく自己正則化戦略を用いて、混合音声データから代表的なスペクトルエンベロープを直接学習する。
• エンベロープ制約の重みは、活性化ベクトルのL1ノルムを用いて動的に調整され、性能を最大化する最適な指数p=5が特定された。
• 収束性と性能の向上を図るため、基底ベクトルにスパース初期化を適用する。特に、基底数が限られた場合に顕著な効果を示す。

実験結果

リサーチクエスチョン

• RQ1 スペクトルエンベロープ制約は、NMFベース音楽源分離における楽器の音色再現の正確性を向上させ得るか？
• RQ2 事前学習済み楽器固有スペクトルエンベロープを用いることで、制約なしNMFと比較して分離性能にどのような影響を与えるか？
• RQ3 真の楽器エンベロープが入手不可である状況において、提案手法がブランク状況に一般化可能か？
• RQ4 活性化エネルギーに基づくスペクトルエンベロープ制約の最適な重み付け戦略は何か？
• RQ5 基底数と初期化手法の選択が、提案されたNMFフレームワークの性能に与える影響は何か？

主な発見

• 提案されたインフォームドNMF手法は、RWCデータベースで最高のSDR（5.55 dB）、SIR（9.84 dB）、SAR（11.20 dB）を達成し、ベースライン手法を著しく上回った。
• 提案されたブラインドNMF手法は、3.16 dBのSDRを達成し、スパイラッツらの階層的、MFCC、NMFベース手法を含む、すべてのブラインド手法の中で最高であった。
• スパース初期化を用いたブラインド手法の性能は、100基底で3.34 dBのSDRに達し、通常初期化およびベースライン手法と比較して一貫した改善を示した。
• 活性化に基づく重み付けの最適指数はp=5であり、これはSDRを最大化し、異なる設定間で性能を安定化させることが確認された。
• 提案されたインフォームド手法は基底数に強く頑健で、基底数が20～100の範囲で常にSDRが5.5 dB以上を維持しており、優れた一般化性能を示した。
• スパース初期化は、すべての基底数および手法で一貫してSDRを向上させ、より意味のある基底ベクトルの形状を形成する有効性を示した。