[論文レビュー] Auxiliary Multimodal LSTM for Audio-visual Speech Recognition and Lipreading

Chunlin Tian, Weijun Ji|arXiv (Cornell University)|Jan 16, 2017

Speech and Audio Processing参考文献 22被引用数 5

ひとこと要約

本稿では、LSTMを用いたバランスの取れた時間的およびモodal融合を通じて音声および視覚特徴を統合するエンドツーエンドの深層学習モデル、補助的マルチモーダルLSTM（am-LSTM）を提案する。補助接続による正則化を組み込むことで、AVSRおよびリップリーディングタスクで最先端の性能を達成し、AVLetters2では89.11%、クロスモダリティリップリーディングでは88.83%の精度を達成した。

ABSTRACT

The Aduio-visual Speech Recognition (AVSR) which employs both the video and audio information to do Automatic Speech Recognition (ASR) is one of the application of multimodal leaning making ASR system more robust and accuracy. The traditional models usually treated AVSR as inference or projection but strict prior limits its ability. As the revival of deep learning, Deep Neural Networks (DNN) becomes an important toolkit in many traditional classification tasks including ASR, image classification, natural language processing. Some DNN models were used in AVSR like Multimodal Deep Autoencoders (MDAEs), Multimodal Deep Belief Network (MDBN) and Multimodal Deep Boltzmann Machine (MDBM) that actually work better than traditional methods. However, such DNN models have several shortcomings: (1) They don't balance the modal fusion and temporal fusion, or even haven't temporal fusion; (2)The architecture of these models isn't end-to-end, the training and testing getting cumbersome. We propose a DNN model, Auxiliary Multimodal LSTM (am-LSTM), to overcome such weakness. The am-LSTM could be trained and tested once, moreover easy to train and preventing overfitting automatically. The extensibility and flexibility are also take into consideration. The experiments show that am-LSTM is much better than traditional methods and other DNN models in three datasets.

研究の動機と目的

• 従来のマルチモーダルモデルや深層学習モデルが抱える音声・視覚的発話認識（AVSR）における制限、特にバランスの取れた時間的およびモダリティ的融合の欠如を解決すること。
• MDAE や MDBN のような先行深層モデルがエンドツーエンドのトレーニング・テストプロセスを採用していないことによる複雑さの増大と最適化の障害を克服すること。
• 補助接続、ドロップアウト、および早期停止を統合することで、マルチモーダルシーケンスモデリングにおける一般化性能と収束速度を向上させること。
• 音声・視覚データで学習したがテスト時にはビデオのみを用いるクロスモダリティリップリーディングを効果的に行えるように、共同表現学習を活用すること。
• 単一の統一されたトレーニングプロセスでモダリティおよび時間的統合を統合する、柔軟で拡張可能でトレーニング可能なアーキテクチャを構築すること。

提案手法

• am-LSTMモデルは、音声および視覚特徴を処理する2つの並列LSTMを用い、マルチモーダル統合のための共有プロジェクションおよび認識ヘッドを備える。
• 残差学習にインspiredされた補助接続を採用し、トレーニングの安定化と過学習の防止を図り、主損失および補助損失を含む組み合わせ損失関数を用いる。
• 損失関数は以下の通り定義される：$\text{Loss} = \frac{1}{n}\sum_{i=1}^{n} \left[ \max\{0, (1 - x_{\text{main}} + y)^2\} + 0.2\max\{0, (1 - x_{\text{aux}}^{v} + y)^2\} + 0.2\max\{0, (1 - x_{\text{aux}}^{a} + y)^2\} \right] $、ここで $x_{\text{main}}$、$x_{\text{aux}}^{v}$、および $x_{\text{aux}}^{a}$ はそれぞれビデオおよび音声の主出力および補助出力である。
• 視覚特徴は、Viola-Jonesアルゴリズムを用いて口元領域を切り出し、事前学習済みのVGG-16ネットワークを用いて抽出した後、100成分にPCAで次元削減する。
• 音声特徴は、20msのハミング窓、10msのオーバーラップを用いたスペクトログラムから得られ、50成分にPCAで次元削減される。
• 時間的一般化を向上させるために、音声およびビデオ特徴を±10フレーム分ずらすデータ拡張が適用される。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層学習モデルは、音声・視覚的発話認識における時間的およびモダリティ的統合を効果的にバランスさせることができるか？
• RQ2 補助接続および正則化の統合は、マルチモーダルRNNにおける収束および一般化性能を向上させるか？
• RQ3 音声とビデオを同時に学習した場合、テスト時にビデオのみを用いるリップリーディング性能はどの程度向上するか？
• RQ4 MDAE、MDBN、RTMRBM のような既存の深層マルチモーダルモデルと比較して、提案されたam-LSTMモデルは精度および耐性面で優れているか？
• RQ5 am-LSTMアーキテクチャは、単一の統一されたトレーニングプロセスでAVSRおよびクロスモダリティリップリーディングの両方のタスクに効果的に適用可能か？

主な発見

• am-LSTMはAVLetters2データセットで89.11%の精度を達成し、RTMRBM（74.77%）やMDAE（67.89%）といった先行モデルを顕著に上回った。
• AVDigitsデータセットでは、am-LSTMが85.23%の精度を達成し、RTMRBM（71.77%）やMDBN（55.00%）を上回った。
• クロスモダリティリップリーディングにおいて、am-LSTMは88.83%の精度を達成し、次に優れたモデル（RTMRBM：66.21%）を著しく上回った。
• テスト時にビデオのみを用いたリップリーディングにおけるモデルの性能は、音声・視覚の共同学習が視覚のみの推論において効果的であることを示している。
• 補助接続、ドロップアウト、および早期停止の使用により、収束速度が向上し、過学習が軽減され、単一のトレーニング・テストプロセスが可能になった。
• モデルのアーキテクチャはエンドツーエンドのトレーニングおよび推論をサポートしており、別々のトレーニング段階の必要性を排除し、実用性を向上させた。