[論文レビュー] Resource aware design of a deep convolutional-recurrent neural network for speech recognition through audio-visual sensor fusion

Matthijs Van Keirsbilck, Bert Moons+1 more|arXiv (Cornell University)|Mar 13, 2018

Speech and Audio Processing参考文献 16被引用数 3

ひとこと要約

本論文は、軽量なCNN-LSTMアーキテクチャに注意メカニズムを組み合わせたリソースに配慮した音声・視覚的深層学習モデルを提示する。音声認識に用いられ、TCD-TIMITデータセット上でクリアな音声では75.70%の音素認識精度を達成し、0 dB SNRのノイズ環境下でも58.55%を記録。これは先行研究を14ポイント以上上回り、組み込みデプロイメントに適した計算効率とメモリ使用量のバランスを実現している。

ABSTRACT

Today's Automatic Speech Recognition systems only rely on acoustic signals and often don't perform well under noisy conditions. Performing multi-modal speech recognition - processing acoustic speech signals and lip-reading video simultaneously - significantly enhances the performance of such systems, especially in noisy environments. This work presents the design of such an audio-visual system for Automated Speech Recognition, taking memory and computation requirements into account. First, a Long-Short-Term-Memory neural network for acoustic speech recognition is designed. Second, Convolutional Neural Networks are used to model lip-reading features. These are combined with an LSTM network to model temporal dependencies and perform automatic lip-reading on video. Finally, acoustic-speech and visual lip-reading networks are combined to process acoustic and visual features simultaneously. An attention mechanism ensures performance of the model in noisy environments. This system is evaluated on the TCD-TIMIT 'lipspeaker' dataset for audio-visual phoneme recognition with clean audio and with additive white noise at an SNR of 0dB. It achieves 75.70% and 58.55% phoneme accuracy respectively, over 14 percentage points better than the state-of-the-art for all noise levels.

研究の動機と目的

• 組み込みデプロイメントに適した低リソースで高パフォーマンスな音声・視覚的音声認識システムの設計。
• 音声と視覚モダリティを深層学習で統合することで、ノイズ環境下での耐性を向上。
• すべてのコンponentにおいて、モデル性能、FLOPS、メモリ使用量のトレードオフを最適化。
• さまざまなノイズレベル下での入力品質に応じて、音声と視覚特徴の重みを動的に割り当てる注意メカニズムの影響を評価。
• TCD-TIMITの「リップスイーパー」データセットにおいて、音声・視覚的音素認識の新しい最先端技術を確立すること。

提案手法

• TCD-TIMITデータセット上で、交差エントロピー損失とAdam最適化を用いて、音声のみの音声認識のための双方向LSTMネットワークを学習。
• ビデオフレームから空間的・時間的特徴を抽出するために3D-CNN-LSTMアーキテクチャを用い、ビズムおよび音素認識のパフォーマンスを評価。
• 音声および視覚ネットワークを別々に事前学習し、共有の注意メカニズムを備えた統合音声・視覚モデルに統合。
• 3つの512ニューロンの全結合層からなる注意ネットワークが、入力品質に応じて音声および視覚特徴の重みを動的に割り当て、ノイズ環境下での耐性を向上。
• 学習率の減少を伴うバックプロパゲーションを用いて、エンドツーエンドで全モデルを微調整。検証損失の改善が5エポック続かない時点で学習を停止。
• リソース効率を最優先：各段階でFLOPSおよびモデルサイズを測定・最小化。最終システムでは30×10⁹ FLOPSおよび137.4 MBのメモリ使用量を実現。

実験結果

リサーチクエスチョン

• RQ1 計算コストおよびメモリ使用量を最小限に抑えると同時に高いパフォーマンスを維持できるように、深層音声・視覚的ASRシステムをどのように設計できるか？
• RQ2 音声および視覚ニューラルネットワークコンponentにおける、パフォーマンスとリソース使用量の最適なトレードオフは何か？
• RQ3 注意に基づく統合は、固定重み統合と比較して、ノイズ混在の音声条件下で認識精度をどのように向上させるか？
• RQ4 音声・視覚統合は、クリアな環境およびノイズ混在環境の両方で、単一モダリティシステムをどれほど上回るか？
• RQ5 注意メカニズムを用いてCNN-LSTM視覚モデルと双方向LSTM音声モデルを統合することで、どの程度のパフォーマンス向上が達成できるか？

主な発見

• 注意メカニズムを備えた音声・視覚モデルは、クリアなTCD-TIMIT音声で75.70%の音素認識精度を達成。これは先行研究（59.09%）を16.6ポイント上回る。
• 0 dB SNRの条件下で、モデルは58.55%の音素認識精度を達成。これは先行研究（44.03%）を14.5ポイント上回る。
• 視覚のみのネットワークは0 dB SNRで51.02%の精度を示すが、注意メカニズムなしに統合するとノイズ環境で著しく性能が低下する。これは、適応的統合の必要性を示している。
• 注意メカニズムにより、音声および視覚特徴の重みを動的に割り当てることができ、ノイズレベルにかかわらず、固定重み統合や単一モダリティシステムよりも顕著に高いパフォーマンスを発揮。
• 最終システムは30×10⁹ FLOPSおよび137.4 MBのモデルサイズを要し、組み込みデプロイメントに適したパフォーマンスとリソース効率のバランスを実現。
• CNN-LSTM視覚ネットワークは、CNNオンリーアーキテクチャに比べて11.15ポイント高いビズム認識精度（68.46% vs. 56.31%）を達成。時間的モデリングの利点を裏付ける。