[論文レビュー] Lipreading with Long Short-Term Memory

Michael Wand, Jan Koutník+1 more|arXiv (Cornell University)|Jan 29, 2016

Speech and Audio Processing参考文献 23被引用数 37

ひとこと要約

本稿では、フィードフォワード層と長短期記憶（LSTM）層を組み合わせた深層ニューラルネットワークを用いて、手動による特徴抽出を回避し、生の口元画像から発話された単語を分類するエンドツーエンドのリップリーディングシステムを提案する。モデルはGRIDコーパス上で79.6％の単語認識精度を達成し、最良の従来手法よりも11.6％高い性能を示しており、視覚的発話認識における統合的特徴学習と系列モデリングの優位性を示している。

ABSTRACT

Lipreading, i.e. speech recognition from visual-only recordings of a speaker's face, can be achieved with a processing pipeline based solely on neural networks, yielding significantly better accuracy than conventional methods. Feed-forward and recurrent neural network layers (namely Long Short-Term Memory; LSTM) are stacked to form a single structure which is trained by back-propagating error gradients through all the layers. The performance of such a stacked network was experimentally evaluated and compared to a standard Support Vector Machine classifier using conventional computer vision features (Eigenlips and Histograms of Oriented Gradients). The evaluation was performed on data from 19 speakers of the publicly available GRID corpus. With 51 different words to classify, we report a best word accuracy on held-out evaluation speakers of 79.6% using the end-to-end neural network-based solution (11.6% improvement over the best feature-based solution evaluated).

研究の動機と目的

• 生の口元画像から直接特徴を学習するエンドツーエンドのニューラルネットワークベースのリップリーディングシステムを構築すること。
• 手作業による特徴抽出を避けて、視覚的発話認識におけるLSTMベースの系列分類器の性能を評価し、従来のパイプラインと比較すること。
• 再帰的ニューラルネットワーク、特にLSTMが、単語分類のためのリップの動きの時間的ダイナミクスを効果的にモデル化できるかどうかを検証すること。
• 特にフィードフォワード層とLSTM層のネットワークアーキテクチャの影響が、話者依存設定における認識精度に与える影響を評価すること。

提案手法

• モデルは、1つの全結合フィードフォワード層に続いて2つのLSTM層（各128ユニット）をスタックし、51クラスの単語分類用にソフトマックス出力層を設けたアーキテクチャを採用している。
• 入力データは、25 fpsで抽出された動画フレームからの40×40ピクセルのグレースケール画像であり、前処理や手作業による特徴工学は一切施されていない。
• 過学習を防ぐために、10エポックの遅延を伴う早期停止を用い、バックプロパゲーションスルータイムによる学習が実施された。
• 重みは[-0.05, 0.05]の範囲で一様分布から初期化され、最適化の過程でモーメンタムは使用されていない。
• 評価はGRIDコーパス上で実施され、19人の話者（10人を訓練用、10人を評価用）を用い、ホールドアウトされた話者を対象に単語レベルの認識精度を測定した。
• 比較のため、HOGおよびEigenlip特徴を用いたSVM分類器を用いた従来のパイプラインも、同一条件下で評価された。

実験結果

リサーチクエスチョン

• RQ1 LSTM層を含むエンドツーエンドの深層ニューラルネットワークは、手作業による視覚的特徴に依存する従来のリップリーディングシステムを上回ることができるか？
• RQ2 同じ入力特徴を用いた場合、LSTMベースの系列モデルの性能は、従来のSVM分類器と比べてどう異なるか？
• RQ3 生のピクセルデータを用いる場合と、HOGやEigenlipsのような特徴工学された特徴を用いる場合のリップリーディング精度に、どのような差が生じるか？
• RQ4 なぜ単一のアルファベットの単語では認識精度が特に低くなるのか、また時間的ダイナミクスが性能に与える影響は何か？

主な発見

• LSTMベースのリップリーディングシステムは、ホールドアウトされた評価話者において79.6％の単語レベル認識精度を達成し、最良の従来手法（HOG＋SVM）の11.6％上回った。
• 混同行列の分析から、文字の認識精度は69.8％と著しく低く、長めの単語（93.4％）と比較して、短時間の持続と視覚的に類似した文字が主な誤り要因であることが明らかになった。
• 話者7では合計82.0％の認識精度を達成し、非文字語の認識が最も高く、文字語の認識が最も低かった。これは全話者に共通する傾向であった。
• 手作業による特徴抽出なしに生画像を入力とすることで優れた性能が得られたことから、エンドツーエンド学習が手作業特徴よりもより判別力のある空間時間的パターンを捉えられると示唆された。
• フィードフォワード層の代わりにCNNを用いた実験では性能向上が得られなかった。これは、40×40の入力サイズが分類に十分な情報をすでに含んでいるためと推測される。
• 結果から、文字列の持続時間が短い（3〜4フレーム）こと、および「p」と「b」のような音素同士の視覚的類似性が、認識失敗の主な要因であると考えられる。