[論文レビュー] PHASEN: A Phase-and-Harmonics-Aware Speech Enhancement Network

Dacheng Yin, Chong Luo+2 more|arXiv (Cornell University)|Nov 12, 2019

Speech and Audio Processing参考文献 22被引用数 26

ひとこと要約

PHASENは、単一チャネル音声強調のための振幅マスクと位相マスクを同時に予測する二重ストリーム深層ニューラルネットワークを提案する。双方向の特徴通信と学習可能な周波数変換ブロックを備え、周波数成分の周期的相関を明示的にモデル化し、ストリーム間の相互指導を可能にした。AVSpeech + AudioSet では先行手法より 1.76 dB の SDR 向上を達成し、Voice Bank + DEMAND では4つの指標で最先端性能を示した。

ABSTRACT

Time-frequency (T-F) domain masking is a mainstream approach for single-channel speech enhancement. Recently, focuses have been put to phase prediction in addition to amplitude prediction. In this paper, we propose a phase-and-harmonics-aware deep neural network (DNN), named PHASEN, for this task. Unlike previous methods that directly use a complex ideal ratio mask to supervise the DNN learning, we design a two-stream network, where amplitude stream and phase stream are dedicated to amplitude and phase prediction. We discover that the two streams should communicate with each other, and this is crucial to phase prediction. In addition, we propose frequency transformation blocks to catch long-range correlations along the frequency axis. The visualization shows that the learned transformation matrix spontaneously captures the harmonic correlation, which has been proven to be helpful for T-F spectrogram reconstruction. With these two innovations, PHASEN acquires the ability to handle detailed phase patterns and to utilize harmonic patterns, getting 1.76dB SDR improvement on AVSpeech + AudioSet dataset. It also achieves significant gains over Google's network on this dataset. On Voice Bank + DEMAND dataset, PHASEN outperforms previous methods by a large margin on four metrics.

研究の動機と目的

• 既存のT-Fドメイン音声強調手法における位相予測の低さ、特に複素理想比マスク（cIRM）を用いた教師信号の下での問題を解決すること。
• 振幅ストリームと位相ストリーム間の双方向情報交換を実現する二重ストリームアーキテクチャを設計し、位相回復を向上させること。
• 局所的受容野を持つ標準的なCNNでは見過ごされがちな、音声スペクトログラムにおける長距離の高調波相関を捉えること。
• データから高調波パターンを自動で学習する学習可能な周波数変換機構を開発すること。
• 最先端の時間領域およびT-Fドメイン手法と比較して、大規模および小規模なデータセットの両方で優れた性能を示すことを目的とする。

提案手法

• PHASENは、振幅マスクを予測するストリームと、複素位相成分を予測するストリームを備えた二重ストリームU-Netに類似したアーキテクチャを採用する。
• 二つのストリームは双方向に通信され、振幅予測が位相推定を効果的にガイドすることで、位相の精度が顕著に向上する。
• 振幅ストリームに周波数変換ブロック（FTB）を挿入し、特に高調波構造を含むグローバルな周波数相関をモデル化する。
• FTBは学習可能な変換行列を用い、可視化の結果、周波数ビン間で高調波パターンが自然に捉えられていることが確認された。
• 振幅ストリームにはバッチ正則化を、位相ストリームにはゲート付き層正則化を適用し、学習の安定化と性能向上を図った。
• cIRMを教師ターゲットとして、SDRおよびPESQを最適化する損失関数を用いて、エンドツーエンドで学習した。

実験結果

リサーチクエスチョン

• RQ1 振幅ストリームと位相ストリーム間の双方向特徴通信は、音声強調における位相予測を顕著に改善できるか？
• RQ2 学習可能な周波数変換ブロックは、音声スペクトログラムにおける長距離の高調波相関を効果的にモデル化できるか？
• RQ3 特化した正則化と通信メカニズムを備えた二重ストリームアーキテクチャは、既存のT-Fドメインおよび時間領域音声強調モデルを上回る性能を示せるか？
• RQ4 PHASENは多様なノイズ環境や話者の違いに対してどれほど一般化できるか？
• RQ5 大規模および小規模なベンチマークデータセットにおいて、PHASENの性能は最先端手法と比べてどの程度優れているか？

主な発見

• AVSpeech + AudioSet データセットでは、ベースラインより 1.76 dB のSDR向上を達成した。訓練ステップ数の1/5、データ量の1/24での学習でも、GoogleのcIRMベース手法を大きく上回った。
• Voice Bank + DEMAND データセットでは、4つの指標（PESQ: 2.99、CSIG: 4.21、CBAK: 3.55、COVL: 3.62）で最高スコアを記録し、ハイブリッドMDPhDモデルでさえも上回った。
• アブレーションスタディの結果、ストリーム間の双方向通信が極めて重要であることが判明した。通信を除去するとSDRが0.5–1.0 dB低下し、正確な位相予測には振幅のガイドラインが不可欠であることが示された。
• 周波数変換ブロック（FTB）は高調波パターンを自然に学習する。重みの可視化から、高調波周波数間で強い相関が確認され、設計目的の正当性が裏付けられた。
• 位相ストリームにReLUやTanh活性化関数を用いると、SDRが最大5.52 dB劣化するため、位相ストリームにおける元の活性化なし設計が位相学習に不可欠であることが確認された。
• モデルの性能はデータセットに依存せず安定しており、SEGAN、WaveNet、DFLといった時間領域モデルや、MMSE-GAN、MDPhDといったT-F手法をすべて上回った。これは、位相と高調波を統合的にモデル化する戦略の有効性を示している。