[論文レビュー] Determined BSS based on time-frequency masking and its application to harmonic vector analysis

Kohei Yatabe, Daichi Kitamura|arXiv (Cornell University)|Apr 29, 2020

Speech and Audio Processing参考文献 68被引用数 4

ひとこと要約

本稿では、ケプストラムスパarsityに基づく時間周波数マスクを用いて調和構造を強化する、決定的盲音源分離（BSS）手法であるHarmonic Vector Analysis（HVA）を提案する。このマスクをプラグアンドプレイなプリムアルデュアルスプリッティングフレームワークに統合することで、特に音声および音楽分離タスクにおいて、最先端のILRMAと同等の性能を達成しつつ、計算コストを低減する。

ABSTRACT

This paper proposes harmonic vector analysis (HVA) based on a general algorithmic framework of audio blind source separation (BSS) that is also presented in this paper. BSS for a convolutive audio mixture is usually performed by multichannel linear filtering when the numbers of microphones and sources are equal (determined situation). This paper addresses such determined BSS based on batch processing. To estimate the demixing filters, effective modeling of the source signals is important. One successful example is independent vector analysis (IVA) that models the signals via co-occurrence among the frequency components in each source. To give more freedom to the source modeling, a general framework of determined BSS is presented in this paper. It is based on the plug-and-play scheme using a primal-dual splitting algorithm and enables us to model the source signals implicitly through a time-frequency mask. By using the proposed framework, determined BSS algorithms can be developed by designing masks that enhance the source signals. As an example of its application, we propose HVA by defining a time-frequency mask that enhances the harmonic structure of audio signals via sparsity of cepstrum. The experiments showed that HVA outperforms IVA and independent low-rank matrix analysis (ILRMA) for both speech and music signals. A MATLAB code is provided along with the paper for a reference ( https://doi.org/10.24433/CO.9507820.v1 ).

研究の動機と目的

• 時間周波数マスクを用いた一般化されたBSSフレームワークの開発を目的とし、柔軟なソースモデリングを可能にする。
• 従来のBSS手法（IVAやILRMAなど）が音声信号内の調和構造を明示的にモデリングできないという限界を解決すること。
• ケプストラムスパarsityを活用して調和成分を強化するが、計算効率を維持する新しいBSSアルゴリズムHVAの提案。
• 提示されたマスクベースのBSSフレームワークが、マスク設計を通じて複数のソース事前知識の統合を容易にできることを示すこと。
• 反復的ランク最適化を必要とせず、音声および音楽信号の両方で優れた性能を発揮する、ILRMAの計算効率の良い代替手法を提供すること。

提案手法

• 本稿では、プリムアルデュアルスプリッティングアルゴリズムに基づくプラグアンドプレイなBSSフレームワークを導入し、任意の時間周波数マスクをソース強調にモジュラーに統合可能である。
• 独立性を確保するためのログディターミナント項と、ソース固有のマスクから導出されるペナルティ関数を組み合わせたコスト関数を最小化することで、デミックス行列を推定する。
• HVAは、ケプストラムドメインにおけるスパarsityを促進するカスタム時間周波数マスクを設計することで実装される。
• マスクは周波数方向のフーリエ変換ペアと指数関数的マッピングを用いて計算され、時間周波数表現における調和成分を強調する。
• 最適化はプロキシアルスプリッティングアルゴリズムにより解かれるため、複雑なマスク関数に対しても効率的かつ安定した収束が可能である。
• バッチ処理が可能であり、複数のマスクを組み合わせて使用できるため、将来的にマルチ基準ソース分離への拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 時間周波数マスクに基づく一般化されたBSSフレームワークは、IVA や ILRMA といった従来手法よりも、より柔軟かつ効果的なソースモデリングを可能にするか？
• RQ2 調和構造を促進するケプストラムベースのマスクは、最先端のBSS手法と比較して、音声および音楽信号の分離においてどの程度の性能を発揮するか？
• RQ3 提示されたプラグアンドプレイなマスクフレームワークは、最適化パイプライン全体を再設計することなく、新しいBSSアルゴリズムの効率的かつモジュラーな開発を可能にするか？
• RQ4 特にマルチチャネル環境下において、HVAとILRMAの間で反復処理時間および収束速度の計算的トレードオフはどのようになるか？
• RQ5 HVAは非調和信号にどの程度一般化可能であり、その適用範囲を拡張するにはどのような変更が必要か？

主な発見

• HVAは、200反復設定において収束が強く、誤差率が低く、音声および音楽分離タスクでILRMAと同等の性能を達成した。
• 2チャネル混合信号では、ILRMAが繰り返し発生するスペクトルパターンをモデル化できるにもかかわらず、HVA（λ = 0.08）は同程度の性能を示し、効果的な調和モデリングを実現した。
• ドラム音源（非調和的）を含む3チャネル混合信号では、IVAがILRMAを上回ったが、HVAも同程度の性能を達成しており、混合ソースタイプに対してもロバストであることが示された。
• Core i7-8700で測定したところ、HVAは音声処理で1反復あたり60.8 ms、音楽処理で164.3 msを要した。ILRMA（116.1 msおよび271.2 ms）よりも効率的であったが、IVAほどではない。
• Mixture AおよびBでは、反復回数が20〜50回で収束したため、HVAの総実行時間はILRMAよりも通常低かった。
• マスクベースのフレームワークにより、複数のマスクを組み合わせることで容易に拡張可能であることが示された（先行研究でも確認済み）。これにより、マルチ基準マスクによる将来的な性能向上の可能性が非常に高い。