[論文レビュー] Neural Network Alternatives to Convolutive Audio Models for Source Separation

Shrikant Venkataramani, Y. Cem Sübakan+1 more|arXiv (Cornell University)|Sep 20, 2017

Speech and Audio Processing参考文献 8被引用数 4

ひとこと要約

本稿では、音声源分離のための畳み込み非負値行列分解（conv-NMF）のニューラルネットワーク的代替手法として、畳み込み自動エンコーダー（CAE）を提案する。可学習な畳み込みフィルタを用いてスペクトロトコーマルパターンをモデル化することで、CAEは音声スペクトログラムにおける時間的依存性を捉え、フィードフォワード自動エンコーダーと比較して顕著な分離性能の向上を達成する。K=80フィルタで最高のSDRゲインを示し、フィルタ数の変動に対しても安定した性能を発揮する。

ABSTRACT

Convolutive Non-Negative Matrix Factorization model factorizes a given audio spectrogram using frequency templates with a temporal dimension. In this paper, we present a convolutional auto-encoder model that acts as a neural network alternative to convolutive NMF. Using the modeling flexibility granted by neural networks, we also explore the idea of using a Recurrent Neural Network in the encoder. Experimental results on speech mixtures from TIMIT dataset indicate that the convolutive architecture provides a significant improvement in separation performance in terms of BSSeval metrics.

研究の動機と目的

• 時間的モデリングを向上させた音声スペクトログラムのモデリングのため、conv-NMFの代替となるニューラルネットワークベースの手法を開発すること。
• 標準的なNMFおよびフィードフォワード自動エンコーダーがフレーム間のスペクトロトコーマルパターンを捉えきれていないという限界を解決すること。
• クリーンな音声スペクトログラム上で自動エンコーダーを生成的訓練することで、異なる混合タイプに一般化できる能力を獲得すること。
• 教師あり源分離における畳み込みおよび再帰的・畳み込み型自動エンコーダーのアーキテクチャの性能を評価すること。
• 柔軟なニューラルネットワークアーキテクチャが、従来の因子分解ベースのモデルを上回る性能を示すことを実証すること。

提案手法

• 本モデルは二段階の畳み込み自動エンコーダーを採用：入力スペクトログラムから活性化コードを推定する畳み込みエンコーダーと、学習済みの基本フィルタを用いて入力を再構成するデコーダーから構成される。
• エンコーダーはサイズM×TのフィルタW^‡を畳み込み適用し、H(i,t)を計算する。これは入力の非負で生成的な符号化と解釈される。
• デコーダーは活性化行列Hと基本フィルタW_iの畳み込みにより、入力スペクトログラムX̂(f,t)を再構成し、スペクトロトコーマルベース分解を形成する。
• バッチ勾配降下法にRMSPropを適用し、Xavier初期化とスパarsity制約を導入して非負性を強制することでネットワークを訓練する。
• 再帰的・畳み込み型自動エンコーダー（RCAE）のバリエーションを導入し、再帰層と畳み込みエンコーダーを組み合わせて長距離の時間的依存性をモデル化する。
• TIMIT音声混合データに対して、BSSeval指標（SDR、SIR、SAR）を用い、フィルタ数K（K=10～100）を変化させた条件下で評価を行う。

実験結果

リサーチクエスチョン

• RQ1 畳み込み自動エンコーダーは、源分離において標準的なフィードフォワード自動エンコーダーを上回るスペクトロトコーマルベース関数を効果的に学習できるか？
• RQ2 畳み込み層による時間的文脈の統合が、非畳み込みモデルと比較して分離品質に測定可能な向上をもたらすか？
• RQ3 再帰的・畳み込み型ハイブリッドアーキテクチャは、音声信号の長期的依存性のモデリングをさらに向上させられるか？
• RQ4 提案された自動エンコーダーの性能は、基本フィルタ数（K）にどれほど敏感か？
• RQ5 クリーンなスペクトログラム上で生成的事前学習を施すことで、未知の混合タイプへの一般化能力がどの程度向上するか？

主な発見

• 畳み込み自動エンコーダー（CAE）は、中央値SDRおよびSIRの観点でフィードフォワード自動エンコーダーと比較して顕著に優れており、分離における干渉が低減されている。
• CAEはK=80フィルタで最高の分離性能を達成し、複数のK値において中央値SDRの向上が観察された。
• K≥50の範囲では、SDRの分散が顕著に低減しており、フィルタ数の増加に伴いより一貫した性能を示している。
• RCAEバージョンもフィードフォワードモデルを上回っているが、CAEほど顕著な改善は見られないことから、畳み込みモデリングが音声混合に特に効果的であることが示唆される。
• CAEモデルでは、SDRの四分位範囲がフィードフォワードモデルと比較して常に広く、混合タイプにわたる性能の安定性が裏付けられている。
• CAEモデルではSARがわずかに低下する傾向にあるが、SIRの顕著な向上が相殺し、全体的な分離品質が向上している。