[論文レビュー] Deep neural network techniques for monaural speech enhancement: state of the art analysis

Peter Juma Ochieng|arXiv (Cornell University)|Dec 1, 2022

Speech and Audio Processing被引用数 6

ひとこと要約

本論文は、モノラル音声強調および分離のための深層ニューラルネットワーク（DNN）技術について、特徴抽出、局所的およびグローバルな音声文脈のモデリング、教師ありおよび教師なし学習、モデル圧縮、目的関数、ドメイン適応、事前学習モデルを含む、包括的な最新技術分析を提供している。主なトレンド、課題、および新たな方向性（動的スピークャ数の処理やデータ効率の高い設計）を特定し、実用応用における耐障害性と効率性の向上に焦点を当てている。

ABSTRACT

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

研究の動機と目的

• モノラル音声強調および分離のパイプライン全体にわたって用いられる主要なDNN技術を分析すること。
• 長期間の依存関係のモデリング、未知のスピークャの処理、計算複雑性の低減といった主な課題を特定すること。
• 事前学習モデルと教師なし学習の役割が、一般化性能を向上させるとともに、ペアドクリーン-ノイズデータへの依存を減らすのにどのように寄与するかを評価すること。
• 最適なシーケンス長やターゲットデータにおける初期リバーブを含むデータ中心の改善策が、一般化性能の向上と計算オーバーヘッドの低減にどのように寄与するかを検討すること。
• 特に教師なしマルチスピークャ分離および動的スピークャ数適応における現在のアプローチのギャップを強調すること。

提案手法

• DNN入力用に、ログパワースペクトル、メル周波数ケプストラム係数（MFCCs）、DFTマグニチュード、および複素数特徴量を含む周波数領域および時間領域特徴量のレビュー。
• 長期間の音声依存関係をモデリングするためのDNNアーキテクチャ（RNN、Transformer、時空間畳み込みネットワーク（TCNs））の分析。
• スペクトルマッピング、マスキング、生成モデルに基づく教師あり学習の分析。位相再構成と損失関数への重点を置く。
• 知識蒸留、重み共有、量子化、プルーニング、深さ方向に分離可能な畳み込みを含むモデル圧縮技術の調査。
• 教師なしおよび自己教師あり手法（対照的学習、事前学習モデルから導出された損失関数を含む）の評価。
• ペアドデータが不要なエンドツーエンド学習を可能にするために、DNNの直接的なノイズ除去の代わりに、事前学習モデルから中間特徴量を抽出して損失計算に用いる手法の提案。

実験結果

リサーチクエスチョン

• RQ1 モノラル強調において、局所的およびグローバルな音声文脈をモデリングするのに最も効果的なDNNアーキテクチャと特徴表現は何か？
• RQ2 スピークャ分離およびリバーブ除去タスクにおいて、教師あり手法と比較して教師なしおよび自己教師あり手法はどのように異なるか？
• RQ3 現在のDNNベースの音声強調ツールが、推論時にスピークャ数が変動する状況を処理する際に抱える主な制限は何か？
• RQ4 ペアドクリーン-ノイズデータを必要とせずに、事前学習モデルをどのようにして音声強調性能の向上に適応できるか？
• RQ5 一般化性能の向上と計算オーバーヘッドの低減に寄与するデータレベルの修正（例：ターゲットデータにおける初期リバーブの組み込み）は何か？

主な発見

• 音声強調データで微調整された事前学習モデルは、最新の最先端性能を達成し、未知のノイズタイプに対しても良好に一般化する。
• 事前学習モデルの複数層からの特徴量を監視信号として用いることで、専用のノイズ除去ネットワークを訓練せずに、ノイズ除去性能が向上する。
• 知識蒸留や量子化を含むモデル圧縮技術は、強調品質を維持しつつ、推論遅延とモデルサイズを顕著に低減する。
• 現在のツールは、推論時のスピークャ数が訓練時と異なる場合に、次元の不一致を引き起こし、非効率または最適でない出力が生じる。
• 訓練時にターゲット音声に初期リバーブを組み込むことで、強調音声の知覚的品質が向上することが示唆され、このようなターゲットを含む標準化されたデータセットの必要性が浮き彫りになった。
• ノイズ除去分野での進展にもかかわらず、マルチスピークャ分離およびリバーブ除去における教師なしDNN技術には、依然として重要なギャップが存在する。