[論文レビュー] PoCoNet: Better Speech Enhancement with Frequency-Positional Embeddings, Semi-Supervised Conversational Data, and Biased Loss

Umut Isik, Ritwik Giri+4 more|arXiv (Cornell University)|Aug 10, 2020

Speech and Audio Processing被引用数 6

ひとこと要約

PoCoNetは、周波数位置埋め込みを用いたより優れた周波数認識特徴抽出、会話データを用いた半教師付き学習による現実世界の耐障害性向上、および音声品質の保持を優先するバイアス付きL1損失を組み合わせることで、大規模ニューラルネットワークにおける音声強調を向上させた。最先端の性能を達成し、2020年Deep Noise Suppression Challengeの非リアルタイム部門で優勝した。

ABSTRACT

Neural network applications generally benefit from larger-sized models, but for current speech enhancement models, larger scale networks often suffer from decreased robustness to the variety of real-world use cases beyond what is encountered in training data. We introduce several innovations that lead to better large neural networks for speech enhancement. The novel PoCoNet architecture is a convolutional neural network that, with the use of frequency-positional embeddings, is able to more efficiently build frequency-dependent features in the early layers. A semi-supervised method helps increase the amount of conversational training data by pre-enhancing noisy datasets, improving performance on real recordings. A new loss function biased towards preserving speech quality helps the optimization better match human perceptual opinions on speech quality. Ablation experiments and objective and human opinion metrics show the benefits of the proposed improvements.

研究の動機と目的

• 多様な現実世界の条件下における大規模ニューラルネットワークの音声強調における耐障害性と主観的品質の向上を目的とする。
• 公開データセットにおける会話音声データの不足を補うために、半教師付き手法を活用し、ノイズの多い現実世界の録音からクリアな会話音声を抽出する。
• 目的の損失関数と人間の音声品質認識の乖離を低減するため、主観的バイアス付き損失関数を導入する。
• 2次元U-Netアーキテクチャに周波数位置埋め込みを組み込むことで、初期層における周波数認識特徴抽出を強化する。
• 合成リバーブとマルチコンディション学習を含む広範なデータ拡張を用いて、モデルの一般化性能を向上させる。

提案手法

• PoCoNetは6段階の2次元U-Netを採用し、DenseNetブロックと自己注意機構を統合。周波数位置埋め込みを組み込むことで、初期段階での周波数認識特徴抽出を可能にする。
• ノイズの多いVoxCeleb2データを事前強調処理するため、LibriSpeechで学習したモデルを用いた半教師付き手法を適用し、学習用にクリアな会話音声を抽出する。
• マルチコンponent損失を採用：スペクトルのマグニチュードにバイアス付きL1損失を適用し、過小評価を抑制するとともに高周波数を強調。また、STFTおよび複素乗算を経由して逆誤差伝搬を行う波形ドメインL1損失も使用。
• データ拡張には、実際および合成された部屋インパulse応答を用いた合成リバーブを含み、部分的リバーブ処理あり・なしの別々のモデルを訓練。
• アーキテクチャはSTFT入力と複素比マスク出力を処理し、推論では40msフレームと1フレーム先読みによるアーチファクト低減を実装。
• ハイパーパrameterは、デフォルトで妥当な値を設定。損失重みにはλ_fg=2.0、λ_bg=0.4、λ_audio=1、λ_spectral=1.5、λ_over=2.6、λ_under=13.3を設定（バイアス付きスペクトル損失用）。

実験結果

リサーチクエスチョン

• RQ1 2次元U-Netの初期層に周波数位置埋め込みを組み込むことで、音声強調における特徴抽出が向上するか？
• RQ2 会話データを用いた半教師付き学習が、現実世界の録音に対するモデルの耐障害性にどの程度寄与するか？
• RQ3 主観的バイアス付きL1損失は、モデル最適化を人間の音声品質認識に適合させるのにどの程度有効か？
• RQ4 周波数位置埋め込み、会話データ、バイアス付き損失を組み合わせることで、客観的および主観的指標に相乗効果が得られるか？
• RQ5 低SNRおよびリバーブ環境下でのモデル性能は、ベースラインシステムと比較してどの程度優れているか？

主な発見

• DNS Challengeの合成非盲検テストセットにおいて、PoCoNetは平均意見評価（MOS）3.52を達成し、ベースライン（2.95）およびノイズ混在リファレンス（3.13）を顕著に上回った。
• 実際の録音データでは、MOSが3.40を記録し、ノイズ混在リファレンス（2.83）およびベースライン（2.64）を大幅に上回った。
• アブレーションスタディの結果、半教師付き会話データを除外すると、実録音でのMOSが0.21ポイント低下し、その重要性が明確になった。
• 合成非リバーブテストセットでは、PESQスコア2.745、CSIGスコア4.080を達成し、RNNoiseおよびDNS Challengeベースラインを上回った。
• バイアス付き損失関数は主観的品質向上に顕著な貢献を示し、削除するとMOSが0.12ポイント低下、CSIGが0.331ポイント低下した。
• PoCoNetは2020年Deep Noise Suppression Challengeの非リアルタイム部門で優勝を果たし、最先端の性能が裏付けられた。