[論文レビュー] Multi-Grained Spatio-temporal Modeling for Lip-reading

Chenhao Wang|arXiv (Cornell University)|Aug 30, 2019

Speech and Audio Processing参考文献 26被引用数 40

ひとこと要約

この論文は、学習可能な空間注意融合を伴う2分岐フロントエンド（2D ResNet-34 の高細-粒度と3D-DenseNet の中間粒度）を提案し、その後 forward 入力注意を備えた2層のBi-ConvLSTMでLRWとLRW-1000で語レベルのリップリーディングの最先端結果を達成する。

ABSTRACT

Lip-reading aims to recognize speech content from videos via visual analysis of speakers' lip movements. This is a challenging task due to the existence of homophemes-words which involve identical or highly similar lip movements, as well as diverse lip appearances and motion patterns among the speakers. To address these challenges, we propose a novel lip-reading model which captures not only the nuance between words but also styles of different speakers, by a multi-grained spatio-temporal modeling of the speaking process. Specifically, we first extract both frame-level fine-grained features and short-term medium-grained features by the visual front-end, which are then combined to obtain discriminative representations for words with similar phonemes. Next, a bidirectional ConvLSTM augmented with temporal attention aggregates spatio-temporal information in the entire input sequence, which is expected to be able to capture the coarse-gained patterns of each word and robust to various conditions in speaker identity, lighting conditions, and so on. By making full use of the information from different levels in a unified framework, the model is not only able to distinguish words with similar pronunciations, but also becomes robust to appearance changes. We evaluate our method on two challenging word-level lip-reading benchmarks and show the effectiveness of the proposed method, which also demonstrate the above claims.

研究の動機と目的

• 同形音素および話者・スタイルのばらつきの下で頑健なリップリーディングを動機づける。
• 各フレームの細粒度特徴と中粒度の短期ダイナミクスの両方を捕捉する。
• 学習可能な空間注意機構を用いてマルチグラニュラリティ特徴を融合する。

提案手法

• 2D ResNet-34 ブランチを用いて各フレームの細粒度特徴を抽出する。
• 3D-DenseNet（52層）ブランチを用いて中粒度の短期時空パターンを捉える。
• 1×1×1 畳み込みで学習される適応的空間注意マスクを介してブランチを融合する。
• 前向き入力注意を付与した2層の双方向 ConvLSTM で融合特徴を処理する。
• 個別ブランチの事前学習後にエンドツーエンドで訓練する。
• LRW および LRW-1000 の語レベルリップリーディングベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 細粒度の2Dフレーム特徴と中粒度の3D時空特徴を結合することで語レベルのリップリーディング性能を改善できるか？
• RQ2 学習可能な空間注意による融合は、単純な結合よりもマルチグラニュラリティ特徴の統合を改善するか？
• RQ3 前向き入力注意を伴うConvLSTMは、話者や条件を跨ぐ長期的な時空モデリングを改善するか？

主な発見

手法	LRW	LRW -1000
DenseNet-3D + Bi-GRU	81.70%	34.76%
ResNet-34 + Bi-GRU	81.70%	38.19%
Two-branch + Bi-GRU	82.98%	36.48%
Two-branch + Bi-ConvLSTM	83.15%	36.12%
Proposed Model	83.34%	36.91%

• LRW では、提案モデルが83.34%の精度を達成し、いくつかのベースラインを上回る。
• LRW-1000 では、提案モデルが36.91%の精度を達成。
• Bi-ConvLSTM を用いた二枝は Bi-GRU を用いた二枝を上回り、前向き入力注意がさらなる改善をもたらす。
• 学習可能な空間注意マスクによる融合は、単純な融合より良い表現を生む。
• 前向き入力注意付きの Bi-ConvLSTM は、フレーム重要度と長距離依存の扱いに優れる。
• 再現されたベースラインと比較して、手法はデータセット全体で一貫した改善を示す。