[論文レビュー] Multi-Modal Hybrid Deep Neural Network for Speech Enhancement

Zhenhua Wu, Sunil Sivadas+3 more|arXiv (Cornell University)|Jun 15, 2016

Speech and Audio Processing参考文献 21被引用数 13

ひとこと要約

本論文は、全結合DNNからの音声特徴とCNNからの視覚的特徴を組み合わせ、双方向LSTMを用いて長期的な依存関係をモデル化することで、ノイズの強い音声を向上させる、新しいマルチモーダルハイブリッド深層ニューラルネットワーク、BiModal-BiLSTMを提案する。PESQで測定された音声品質が優れており、特に非定常ノイズ条件下で顕著な性能向上を示し、音声と視覚の統合が音声強調に有効であることを実証している。

ABSTRACT

Deep Neural Networks (DNN) have been successful in en- hancing noisy speech signals. Enhancement is achieved by learning a nonlinear mapping function from the features of the corrupted speech signal to that of the reference clean speech signal. The quality of predicted features can be improved by providing additional side channel information that is robust to noise, such as visual cues. In this paper we propose a novel deep learning model inspired by insights from human audio visual perception. In the proposed unified hybrid architecture, features from a Convolution Neural Network (CNN) that processes the visual cues and features from a fully connected DNN that processes the audio signal are integrated using a Bidirectional Long Short-Term Memory (BiLSTM) network. The parameters of the hybrid model are jointly learned using backpropagation. We compare the quality of enhanced speech from the hybrid models with those from traditional DNN and BiLSTM models.

研究の動機と目的

• 唇の動きからの視覚的手がかりを活用することで、ノイズ環境下での音声強調を向上させること。
• 単一モodalモデルの限界を克服するため、統合された深層学習フレームワーク内で音声と視覚モダリティを統合すること。
• 双方向LSTMアーキテクチャを用いて、音声視覚特徴の長期的時間的依存関係をモデル化すること。
• バックプロパゲーションを用いてエンドツーエンド学習のため、ハイブリッドモデルのパラメータを同時に最適化すること。
• モデルの性能を、見られていたノイズタイプおよび見られなかったノイズタイプの両方で検証し、頑健性と一般化能力を示すこと。

提案手法

• ノイズの強い音声フレームの窓から、全結合DNNを用いて音響特徴を抽出する。
• 唇の画像である視覚入力を、畳み込みニューラルネットワーク（CNN）で処理し、高次元の空間的表現を抽出する。
• 各時刻ステップで音声特徴と視覚特徴を連結し、マルチモーダル統合のための統合表現を生成する。
• 連結された特徴を、過去と未来の文脈をモデル化するための双方向長短期記憶（BiLSTM）ネットワークで処理する。
• 最終的な全結合層を用いて、BiLSTM出力から強化されたスペクトル特徴を再構築する。
• Adam最適化法と平均二乗誤差損失関数を用いて、バックプロパゲーションによりエンドツーエンドでモデル全体を訓練する。

実験結果

リサーチクエスチョン

• RQ1 視覚的手がかりの統合は、ノイズ環境下での音声強調性能を向上させることができるか？
• RQ2 DNN、CNN、BiLSTMを統合したハイブリッドアーキテクチャは、単一モダリティのDNNおよびBiLSTMモデルと比較して、音声強調においてどのように優れているか？
• RQ3 ノイズ抑制に視覚特徴が、発話セグメントと沈黙の両方においてどの程度寄与しているか？
• RQ4 交通ノイズのような未観測のノイズタイプに対しても、BiModal-BiLSTMモデルは良好な一般化性能を示すか？
• RQ5 マルチモーダル特徴の共同最適化は、クリーンな音声スペクトルを再構築する能力に、モデルにどのように影響を与えるか？

主な発見

• BiModal-BiLSTMモデルは、検証セットで最小の平均二乗誤差（MSE）を達成し、特徴再構築の精度が優れていることを示した。
• 全SNRレベルおよびノイズタイプにおいて、単一チャネルDNNおよびBiLSTMベースラインと比較して、PESQスコアが優れていた。
• 見られていたノイズ条件（アラームおよび群衆ノイズ）下では、BiModal-BiLSTMがBiLSTMベースラインと比較して顕著に高い平均PESQスコアを達成した。
• 未観測の交通ノイズ下でも、BiModal-BiLSTMは強力な性能を維持したが、BiLSTMベースラインとの差は小さかった。
• スペクトログラムの比較から、モデルがノイズを抑制するだけでなく、沈黙だけでなく活発な発話セグメントにおいても、より多くの音声細部を保持していることがわかった。
• モデルは、スペクトルの重なりが大きい非定常ノイズ環境下でも、視覚情報が音声強調に有意に寄与することを示した。