[論文レビュー] Learn an Effective Lip Reading Model without Pains

Dalu Feng, Shuang Yang+2 more|arXiv (Cornell University)|Nov 15, 2020

Speech and Audio Processing参考文献 30被引用数 51

ひとこと要約

本論文はリップリーディングの訓練要因を包括的に定量的に検討し、ベースラインパイプラインの単純な改良だけで、モデルの大規模な変更を加えずに LRW および LRW-1000 で最先端の結果を達成できることを示している。

ABSTRACT

Lip reading, also known as visual speech recognition, aims to recognize the speech content from videos by analyzing the lip dynamics. There have been several appealing progress in recent years, benefiting much from the rapidly developed deep learning techniques and the recent large-scale lip-reading datasets. Most existing methods obtained high performance by constructing a complex neural network, together with several customized training strategies which were always given in a very brief description or even shown only in the source code. We find that making proper use of these strategies could always bring exciting improvements without changing much of the model. Considering the non-negligible effects of these strategies and the existing tough status to train an effective lip reading model, we perform a comprehensive quantitative study and comparative analysis, for the first time, to show the effects of several different choices for lip reading. By only introducing some easy-to-get refinements to the baseline pipeline, we obtain an obvious improvement of the performance from 83.7% to 88.4% and from 38.2% to 55.7% on two largest public available lip reading datasets, LRW and LRW-1000, respectively. They are comparable and even surpass the existing state-of-the-art results.

研究の動機と目的

• リップリーディングの性能に対する訓練選択とデータ処理の影響を動機づけ、定量化する。
• ベースラインのリップリーディングパイプラインを改善する効果的な改良を特定する。
• 単純で洗練された訓練パイプラインが、主要なアーキテクチャ変更を伴わずにLRWおよびLRW-1000で競争力のある結果を達成できることを示す。

提案手法

• ResNet-18 フロントエンドと GRU バックエンドを用いたベースラインのリップリーディングパイプラインを使用する。
• データ処理の検討（顔位置揃え、語境境界入力）、訓練の調整（MixUp、ラベル平滑化、学習率スケジュール）。
• SE（Squeeze-and-Excitation）モジュールと余弦型学習率スケジューリングを洗練されたパイプラインに組み込む。
• LRW（英語）および LRW-1000（ Mandarin）データセットで評価する。
• フロントエンド/バックボーンモジュールを比較し、異なる構成の効果を記録する。
• 有効な組み合わせを特定するため、結果を表形式で報告する。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャを変更せずに、どの訓練戦略とデータ処理ステップがリップリーディングの性能を最も改善するか？
• RQ2 顔位置揃え、語境境界入力、MixUp、ラベル平滑化、余弦LRスケジューリングなどの改良は、LRWおよびLRW-1000で一貫した利得をもたらすか？
• RQ3 これらの訓練工夫と組み合わせた場合、フロントエンド/バックエンドの選択が相対的にどの程度影響を及ぼすか？
• RQ4 単純で洗練されたパイプラインは、大規模なリップリーディングデータセットで最先端の結果に到達するか、あるいはそれを超えることができるか？

主な発見

Frontend	Backend	Data Type / Data Processing	LRW	LRW-1000
VGGM*	-	Lip	61.1%	25.7%
ResNet-18*	3 Layers GRU	Lip	83.0%	38.2%
ResNet-34*	-	-	83.5%	-
ResNet-18	-	-	83.7%	46.5%
SE-ResNet-18	-	-	84.1%	46.8%
ResNet-18	3 Layers GRU	Lip	83.7%	46.5%
GRU w/o dropout	-	-	83.1%	45.5%
MS-TCN	-	-	83.4%	43.0%
Transformer*	-	-	76.2%	44.5%
Baseline	-	Baseline	83.7%	46.5%
Aligned Lip	-	Aligned Lip	84.2%	-
Word Boundary Input	-	Aligned Lip	86.5%	53.6%
Baseline	-	Baseline	83.7%	46.5%
MixUp	-	Baseline	84.0%	47.3%
Label Smoothing	-	Baseline	84.2%	47.0%
Cosine Scheduler	-	Baseline	84.2%	46.6%
Exp Scheduler	-	Baseline	83.2%	45.6%
SE+MixUp+Cosine LR+LS+WB	SE-ResNet-18	Aligned Lip	85.0%	48.0%
+ Word Boundary			88.4%	55.7%

• 改良によりLRWの基礎精度は83.7%から88.4%へ改善。
• 改良によりLRW-1000の基礎精度は46.5%から55.7%へ改善。
• SE-ResNet-18 フロントエンドと BiGRU バックエンド、整列済みリップデータで競争力のある結果を得る；語境境界を加えるとさらにLRWで88.4%、LRW-1000で55.7%へ改善。
• 顔位置揃えと語境境界入力は、ベースラインのデータ処理より顕著な利得を提供。
• 余弦型学習率スケジューリングは、停滞ベースのスケジューリングより小さながら正の改善をもたらし、MixUpとラベル平滑化は一般化を高める。
• 同条件下で、本研究ではGRUベースのバックエンドが Temporal ConvNET および Transformer を上回る傾向にある。