[論文レビュー] End-to-end Audiovisual Speech Activity Detection with Bimodal Recurrent Neural Models

Fei Tao, Carlos Busso|arXiv (Cornell University)|Sep 12, 2018

Speech and Audio Processing参考文献 51被引用数 3

ひとこと要約

本論文は、音声と視覚の両モダリティから直接生データを学習するLSTMを用いて時間的ダイナミクスをモデル化する、エンド・トゥ・エンドの二モダリティ再帰的ニューラルネットワーク（BRNN）を提案する。このフレームワークは騒がしい環境下でもポータブルタブレット上で92.7%のF1スコアを達成し、理想的な条件下の94.0%からわずか1.0%低下にとどまり、音声のみのDNNベースラインと比較して最大1.2%の絶対的F1スコア向上を達成した。

ABSTRACT

Speech activity detection (SAD) plays an important role in current speech processing systems, including automatic speech recognition (ASR). SAD is particularly difficult in environments with acoustic noise. A practical solution is to incorporate visual information, increasing the robustness of the SAD approach. An audiovisual system has the advantage of being robust to different speech modes (e.g., whisper speech) or background noise. Recent advances in audiovisual speech processing using deep learning have opened opportunities to capture in a principled way the temporal relationships between acoustic and visual features. This study explores this idea proposing a \emph{bimodal recurrent neural network} (BRNN) framework for SAD. The approach models the temporal dynamic of the sequential audiovisual data, improving the accuracy and robustness of the proposed SAD system. Instead of estimating hand-crafted features, the study investigates an end-to-end training approach, where acoustic and visual features are directly learned from the raw data during training. The experimental evaluation considers a large audiovisual corpus with over 60.8 hours of recordings, collected from 105 speakers. The results demonstrate that the proposed framework leads to absolute improvements up to 1.2% under practical scenarios over a VAD baseline using only audio implemented with deep neural network (DNN). The proposed approach achieves 92.7% F1-score when it is evaluated using the sensors from a portable tablet under noisy acoustic environment, which is only 1.0% lower than the performance obtained under ideal conditions (e.g., clean speech obtained with a high definition camera and a close-talking microphone).

研究の動機と目的

• 騒がしい環境下でも性能を向上させるために、音声と視覚の両モダリティを活用する耐障害性の高い語りかけ検出システムの開発。
• マルチモーダルSADにおける手作業特徴と一時的な特徴統合手法の限界を克服し、判別的表現のエンド・トゥ・エンド学習を可能にする。
• 再帰的ニューラルネットワークを用いて音声および視覚モダリティ内および両モダリティ間の時間的依存関係をモデル化し、検出精度を向上させる。
• 多様な音響的およびチャネル的条件下、特に実用的な騒がしい環境を含む大規模な音声視覚コーパス上で、提案されたフレームワークの評価。

提案手法

• フレームワークは3つのサブネットワークを採用する：音声および視覚モダリティ表現を別々に処理する2つの単方向LSTMが、モダリティ内時間的ダイナミクスを捉える。
• 音声特徴はメルフィルタバンク特徴から直接抽出されるが、視覚特徴は畳み込み層を用いて生の口腔周辺画像からエンド・トゥ・エンドで学習される。
• 両モダリティの高レベル表現を連結し、その出力を3番目のLSTMサブネットに供給することで、フレームレベルの語りかけ検出のためのモダリティ間時間的依存関係をモデル化する。
• システム全体はバックプロパゲーションを用いてエンド・トゥ・エンドで訓練され、手作業特徴の必要性がなくなり、特徴学習と分類の共同最適化が可能になる。
• 単方向LSTMの使用により遅延が低減され、双方向アーキテクチャと比較してリアルタイム応用性が向上する。
• モデルは、クリーンおよび騒がしい環境下で105名の話者から得られた60.8時間以上の録音を含むCRSS-4English-14コーパスで評価された。

実験結果

リサーチクエスチョン

• RQ1 生データから直接音声視覚特徴を学習するエンド・トゥ・エンドのディープラーニングフレームワークは、手作業特徴に依存する従来のシステムを上回る性能を示せるか？
• RQ2 音声のみのアプローチと比較して、視覚情報の統合はSADシステムの音響的ノイズに対する耐性をどの程度向上させるか？
• RQ3 両モダリティの時間的ダイナミクスを捉える二モダリティ再帰モデルは、実用的で騒がしい環境下での検出精度をどの程度向上させるか？
• RQ4 提案されたBRNNフレームワークは、劣化した音声条件下で実世界のデバイス（例：ポータブルタブレット）でテストされた場合でも高い性能を維持できるか？

主な発見

• 提案されたBRNNフレームワークは、騒がしい音響環境下のポータブルタブレット上で92.7%のF1スコアを達成し、理想的な条件下の94.0%からわずか1.0%低下にとどまった。
• 実用的状況下で、最先端の音声のみのDNNベースSADベースラインを最大1.2%の絶対的F1スコア向上で上回った。
• クリーンな条件下では、二モダリティシステムは94.0%のF1スコアを達成し、音声のみのシステム（92.8%）および視覚のみのシステム（57.2%）を大きく上回った。
• 騒がしい条件下でも、二モダリティシステムは92.7%のF1スコアを維持し、音声のみのシステム（91.5%）および視覚のみのシステム（68.9%）を統計的に有意に上回った。
• 視覚のみのシステムは、同じデータで学習した場合、騒がしい条件下でクリーンな条件下よりも優れた性能を示した。これは、音響劣化下でも視覚特徴の相対的安定性に起因する。
• 生データから特徴をエンド・トゥ・エンドで学習したことで、手作業特徴を用いたBRNNの変種と比較して優れた性能を達成し、共同表現学習の利点を示した。