[論文レビュー] LRWR: Large-Scale Benchmark for Lip Reading in Russian language

Evgeniy Egorov, Vasiliy Kostyumov+2 more|arXiv (Cornell University)|Sep 14, 2021

Speech and Audio Processing参考文献 21被引用数 6

ひとこと要約

本稿では、235のクラスと135人の話者を含み、117,500件以上のサンプルを持つ、ロシア語向けの最初の大規模で自然に分布した唇読みベンチマークであるLRWRを紹介する。LRWR上で最先端の唇読みモデルを評価し、ラベルスムージング、ミックスアップ、コサインスケジューリングといった最適な訓練技術を同定した。さらに、AttentionLipreadingNet (ALN) を提案し、LRWベンチマークでは89.1%という新たな最先端の精度を達成し、LRWRでは61.1%の精度を記録した。

ABSTRACT

Lipreading, also known as visual speech recognition, aims to identify the speech content from videos by analyzing the visual deformations of lips and nearby areas. One of the significant obstacles for research in this field is the lack of proper datasets for a wide variety of languages: so far, these methods have been focused only on English or Chinese. In this paper, we introduce a naturally distributed large-scale benchmark for lipreading in Russian language, named LRWR, which contains 235 classes and 135 speakers. We provide a detailed description of the dataset collection pipeline and dataset statistics. We also present a comprehensive comparison of the current popular lipreading methods on LRWR and conduct a detailed analysis of their performance. The results demonstrate the differences between the benchmarked languages and provide several promising directions for lipreading models finetuning. Thanks to our findings, we also achieved new state-of-the-art results on the LRW benchmark.

研究の動機と目的

• ロシア語やその他のスラブ諸語向けに、大規模で自然に分布した唇読みデータセットの不足を解消すること。
• 低リソースで英語以外の言語環境における唇読みモデルの評価のためのベンチマークを確立すること。
• データ拡張、正則化、学習率スケジューリングといったさまざまなディープラーニング技術が、ロシア語の唇読み性能に与える影響を調査すること。
• 複数のデータセットに良好に一般化できる新しいアーキテクチャ、AttentionLipreadingNet (ALN) を開発し、LRWで最先端の性能を向上させること。
• 特にロシア語と英語の間の言語的・音声的差異が、唇読みモデルの一般化と性能に与える影響を明らかにすること。

提案手法

• YouTube動画からLRWRを収集し、照明、ポーズ、背景の自然なばらつきを確保した。235語と135人の話者を対象に、合計117,500件のサンプルを含む。
• 高品質でバランスの取れたデータを保証するため、自動音声認識（ASR）のアライメント、顔および唇の検出、手動による検証を含むデータパイプラインを実装した。
• LRWR上で複数の最先端の唇読みアーキテクチャ（D3D、フローベーストゥオストリーム、ResNeStベースモデル）をベンチマーク化した。
• 正則化技術（ラベルスムージング、ミックスアップ、カットアウト）、データサンプリング戦略、最適化スケジュール（コサインスケジューリングによる学習率減衰）を体系的に評価した。
• 時間的モデリングに双方向GRUを組み合わせた3次元畳み込み、2次元ResNeStブロック（スプリットアテンション付き）を統合することで、AttentionLipreadingNet (ALN) を設計した。
• データ拡張（ランダムクロップ、水平反転、ミックスアップ、ラベルスムージング、ドロップブロック）、Adam最適化関数にコサインスケジューリングを適用し、動画長にわたるlog-softmaxプーリングを用いたクロスエントロピー損失でALNを訓練した。

実験結果

リサーチクエスチョン

• RQ1 新たに導入された大規模で自然に分布したロシア語唇読みベンチマーク（LRWR）上で、既存の唇読みモデルはどの程度の性能を示すか？
• RQ2 データ拡張、正則化、最適化技術のうち、どの組み合わせがLRWRデータセットで最も高い性能向上をもたらすか？
• RQ3 ロシア語と英語の間の言語的・音声的差異が、唇読みモデルの一般化と性能にどの程度の影響を及えるか？
• RQ4 LRWRからの知見を活かして訓練された統一アーキテクチャは、LRWRおよび確立されたLRWベンチマークの両方で性能向上を達成できるか？
• RQ5 入力解像度やデータバランス（例：1クラスあたり750件にアップサンプリング）が、低リソース環境におけるモデル精度に与える影響は何か？

主な発見

• ラベルスムージング、ミックスアップ、コサインスケジューリングを組み合わせ、RNNの隠れ層サイズを増加させることで、LRWRにおけるモデル精度が顕著に向上した。
• 各クラスを750件にアップサンプリングすることで性能が向上したが、さらにアップサンプリングすると結果が劣化した。これは、最適なデータバランス点が存在することを示している。
• 事前学習済みのモデル重みは一貫して高い性能を示し、ロシア語唇読みにおけるトランスファー学習の大きな可能性を示している。
• D3DはLRWRでは最高の精度（54%）を記録したが、LRWでは低い精度（78.0%）にとどまり、言語特有の性能差を強く示している。
• AttentionLipreadingNet (ALN) は、LRWベンチマークで89.1%という新たな最先端の精度を達成し、以前のSOTA（88.4%）を上回った。
• ALNはLRWRでも61.1%の精度を記録したが、入力解像度（112×112対256×256）や言語の複雑さに敏感であることが判明し、LRWの結果とは顕著な差があった。