[論文レビュー] A Fully Convolutional Neural Network Approach to End-to-End Speech Enhancement

Frank Longueira, Sam Keene|arXiv (Cornell University)|Jul 20, 2018

Speech and Audio Processing参考文献 12被引用数 5

ひとこと要約

本稿では、スペクトログラムの計算を回避し、位相情報を保持するように、生の音声を直接処理するエンド・トゥ・エンドの音声強調のための完全畳み込みニューラルネットワーク（FCN）を提案する。モデルはバブルノイズからのロバストな音声分離を達成し、ファインチューニングにより新しい話者にも一般化可能であり、ファインチューニング後、-5 dB SNRでPESQスコアが2.283（元の1.437）に向上し、WERは58.69%（元の89.305%）に低下する。

ABSTRACT

This paper will describe a novel approach to the cocktail party problem that relies on a fully convolutional neural network (FCN) architecture. The FCN takes noisy audio data as input and performs nonlinear, filtering operations to produce clean audio data of the target speech at the output. Our method learns a model for one specific speaker, and is then able to extract that speakers voice from babble background noise. Results from experimentation indicate the ability to generalize to new speakers and robustness to new noise environments of varying signal-to-noise ratios. A potential application of this method would be for use in hearing aids. A pre-trained model could be quickly fine tuned for an individuals family members and close friends, and deployed onto a hearing aid to assist listeners in noisy environments.

研究の動機と目的

• 騒音のある複数話者環境において、ターゲット音声を強調することでコctail party問題を解決する。
• スペクトログラムのような中間特徴抽出を回避するエンド・トゥ・エンドの音声強調システムを開発する。
• 生の音声を直接処理することで、出力における位相情報を保持し、主観的品質を向上させる。
• 最小限のファインチューニングデータを用いて、新しい話者への一般化を実証する。
• パrameter効率の良い完全畳み込みアーキテクチャのおかげで、補聴器へのリアルタイム導入を可能にする。

提案手法

• 完全畳み込みニューラルネットワーク（FCN）を用い、全結合層を一切含まない形で、生の16 kHzモノラル音声を直接処理する。
• 畳み込み定理を活用し、FCNを時間ドメインで動作する学習可能な非線形フィルターバンクとして解釈する。
• クリアな音声（パメラのナレーション）を、さまざまなSNRでバーダイ・カフェ環境のバブルノイズと混合して、モデルを学習する。
• 中間特徴工学を一切行わず、ノイズの時間ドメイン入力をクリアな時間ドメイン出力にマップするエンド・トゥ・エンド学習を実施する。
• 未学習話者（トリシア）の5分間のデータを用いて、事前に学習済みモデルをファインチューニングし、未知の話者に適応させる。
• 位相の保持と強調音声の主観的品質向上のため、時間ドメインの損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 1人の話者で学習した完全畳み込みニューラルネットワークが、騒音環境下で新しい話者に一般化できるか？
• RQ2 新しい話者からの最小限のデータでファインチューニングを行うと、事前に学習済みの音声強調モデルの性能にどのような影響を与えるか？
• RQ3 モデルは、さまざまな信号対ノイズ比（SNR）にわたってどの程度ロバスト性を維持できるか？
• RQ4 スペクトログラムベースのアプローチに比べて、生の音声をエンド・トゥ・エンドで処理することで、位相の保持と品質向上が達成できるか？
• RQ5 FCNベースのシステムは、リアルタイム導入に適した計算およびストレージ効率をどの程度達成できるか？

主な発見

• ファインチューニング後、-5 dB SNRで新しい話者（トリシア）に対してPESQスコアが2.283に向上（ファインチューニングなしでは1.437）。
• ファインチューニング後、-5 dB SNRで新しい話者に対するWERが58.69%に低下（ファインチューニングなしでは89.305%）。
• 新しいノイズ環境に対しても良好に一般化し、-5 dBから5 dBのSNR範囲で強力な性能を維持する。
• わずか5分間の新しい話者データでのファインチューニングにより、性能が著しく向上し、同じ話者で学習したモデルに非常に近い性能を達成する。
• FCNアーキテクチャによりモデルの複雑さが低減され、STFT計算の必要がないため、リアルタイムでのデプロイメントが可能になる。
• 主観的聴取テストにより、音声の聞き取りやすさと品質が向上していることが確認され、客観的指標と整合的である。