[論文レビュー] Deep Learning Based Phase Reconstruction for Speaker Separation: A Trigonometric Perspective

Zhong-Qiu Wang, Ke Tan+1 more|arXiv (Cornell University)|Nov 22, 2018

Speech and Audio Processing参考文献 32被引用数 8

ひとこと要約

本稿では、STFTドメインにおける深層学習ベースのモノラル・スピーカー分離における位相再構成に三角法的手法を提案する。幾何的制約と位相差関係を活用することで、各時間周波数ユニットあたりの位相候補を2つにまで削減し、反復的再構成、群速度遅延推定、位相符号予測を用いて正しい位相を選択する。WSJ0-2mixおよび3mixデータセットで最先端の性能を達成した。

ABSTRACT

This study investigates phase reconstruction for deep learning based monaural talker-independent speaker separation in the short-time Fourier transform (STFT) domain. The key observation is that, for a mixture of two sources, with their magnitudes accurately estimated and under a geometric constraint, the absolute phase difference between each source and the mixture can be uniquely determined; in addition, the source phases at each time-frequency (T-F) unit can be narrowed down to only two candidates. To pick the right candidate, we propose three algorithms based on iterative phase reconstruction, group delay estimation, and phase-difference sign prediction. State-of-the-art results are obtained on the publicly available wsj0-2mix and 3mix corpus.

研究の動機と目的

• マグニチュードスペクトルは推定されるが位相が曖昧であるため、モノラル・スピーカー分離における位相再構成の課題に対処すること。
• ソース信号と混合信号間の幾何的および三角関係を活用して、ソースの位相推定における曖昧性を解消すること。
• 追加のトレーニングデータや明示的な位相モデリングを必要とせず、音声分離品質を向上させる位相再構成フレームワークを開発すること。
• マグニチュード推定値と位相再構成のみを用いて、WSJ0-2mixおよび3mixといった標準ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、STFTドメインにおける幾何的制約を用いて、正確なマグニチュード推定が得られた場合、各ソースと混合信号との間の絶対位相差が一意に決定されることを示す。
• 混合モデルから導かれる三角恒等式を活用することで、時間周波数ユニットあたりの位相候補数を2つにまで削減する。
• 3つのアルゴリズムを提案する：マグニチュードと位相制約を用いた反復的位相再構成、位相選択を支援する群速度遅延推定、深層学習を用いた位相差符号予測。
• 本手法はSTFTドメイン内で完全に動作し、分離ネットワークのエンドツーエンドトレーニングを必要とせず、既存のマグニチュードベースのモデルに即座に統合可能である。
• 位相再構成は分離後処理として実行され、推定マグニチュードと導出された幾何的制約のみを用いて位相の曖昧性を解消する。
• 本手法はWSJ0-2mixおよび3mixデータセットで評価され、従来の位相再構成手法よりも高いロバスト性と性能向上を示した。

実験結果

リサーチクエスチョン

• RQ1 STFTドメインにおける幾何的および三角的制約が、ソースと混合信号間の位相差を一意に決定できるか？
• RQ2 マグニチュード推定値と信号の幾何的性質を活用することで、無限の候補から時間周波数ユニットあたり2つの候補に位相の曖昧性を削減できるか？
• RQ3 明示的な位相モデリングを必要とせず、2つの可能性の中から正しい位相候補を選択する有効な戦略は何か？
• RQ4 提案手法による位相再構成は、標準ベンチマークで音声分離品質をどの程度向上させるか？
• RQ5 分離ネットワークの再トレーニングや位相の監視を用いずに、最先端の結果を達成できるか？

主な発見

• 提案手法はWSJ0-2mixおよび3mixデータセットで最先端の性能を達成し、既存の位相再構成手法を上回った。
• 幾何的制約を活用することで、各ソースと混合信号との間の位相差が一意に決定され、時間周波数ユニットあたり2つの候補に曖昧性が削減された。
• 反復的位相再構成アルゴリズムは、正しい位相解に効果的に収束し、主観的品質と客観的指標の両方を著しく向上させた。
• 群速度遅延推定と位相符号予測により、SNRが低い状況でも精度が向上した。
• 本手法は後処理として有効であり、下流のマグニチュードベース分離モデルを変更せずに分離結果を改善できた。
• 本手法は、2人および3人の話者を含むさまざまな話者数にわたり、ロバストで一般化可能な性能を示した。