[論文レビュー] Lip-reading with Densely Connected Temporal Convolutional Networks

Pingchuan Ma, Yujiang Wang+3 more|arXiv (Cornell University)|Sep 29, 2020

Speech and Audio Processing参考文献 57被引用数 6

ひとこと要約

本論文は、密接なスキップ接続とシーズャー・アテンションモジュールを用いて時間的特徴抽出を強化することで、分離語音声読み取りのためのDensely Connected Temporal Convolutional Network（DC-TCN）を提案する。この手法は、LRWデータセットで88.36%の正確性を達成し、LRW-1000で43.65%を記録し、先行手法を顕著に上回る最先端の性能を発揮した。

ABSTRACT

In this work, we present the Densely Connected Temporal Convolutional Network (DC-TCN) for lip-reading of isolated words. Although Temporal Convolutional Networks (TCN) have recently demonstrated great potential in many vision tasks, its receptive fields are not dense enough to model the complex temporal dynamics in lip-reading scenarios. To address this problem, we introduce dense connections into the network to capture more robust temporal features. Moreover, our approach utilises the Squeeze-and-Excitation block, a light-weight attention mechanism, to further enhance the model's classification power. Without bells and whistles, our DC-TCN method has achieved 88.36% accuracy on the Lip Reading in the Wild (LRW) dataset and 43.65% on the LRW-1000 dataset, which has surpassed all the baseline methods and is the new state-of-the-art on both datasets.

研究の動機と目的

• 分離語唇読み取りのための標準的な時系列畳み込みネットワーク（TCNs）における時間的受容 field 密度の限界を是正すること。
• 時間的特徴伝搬を強化することで、微細で複雑な時間的ダイナミクスを効果的にモデル化すること。
• 完全畳み込みアーキテクチャ内で軽量なアテンション機構（シーズャー・アテンション）を用いて分類性能を向上させること。
• 複雑なデータ増強や補助的コンponents に依存せずに、LRWおよびLRW-1000ベンチマークで新たな最先端の結果を達成すること。

提案手法

• DC-TCNの2つの変種、完全密接（FD）および部分的密接（PD）を提案。各TC層は、すべての以前の層からの特徴を連結することで、密な特徴伝搬を可能にする。
• 各TCブロックの後にSqueeze-and-Excitation（SE）ブロックを統合し、グローバルな文脈に基づいてチャネルごとの特徴応答を再キャリブレーションする。
• 受容場を拡大しながらも時間的解像度を維持するために、TCブロックで膨張畳み込みを採用する。
• ビデオクリップからの視覚的特徴抽出のため、3D畳み込みニューラルネットワーク（3D-CNN）にResNet18を用いたフロントエンドを採用する。
• 膨張畳み込みと残差接続を備えたマルチレイヤーTCNバックエンドを用いて、長距離の時間的依存性をモデル化する。
• 交差エントロピー損失を用いてエンドツーエンドで学習し、標準的なデータ分割を用いて標準ベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 TCNアーキテクチャにおける密接接続は、分離語唇読み取りのための時間的特徴表現を改善できるか？
• RQ2 シーズャー・アテンションブロックの統合は、TCNベースの唇読み取りモデルの判別力に寄与するか？
• RQ3 提案されたDC-TCNは、標準的な唇読み取りベンチマークで既存の最先端手法と比較してどうなるか？
• RQ4 変動する長さの入力シーケンスにおいて、モデルはどの程度の耐性を示すか？
• RQ5 モデルは、難易度の高いおよび非常に難しい語のカテゴリにおいても優れた性能を示すか？

主な発見

• 部分的密接（PD）アーキテクチャを用いたDC-TCNは、LRWデータセットでトップ1正確性88.36%を達成し、以前の最先端手法（85.3%）を3.06ポイント上回った。
• LRW-1000データセットでは、PDバージョンが43.65%の正確性を記録し、以前の最先端（41.4%）を2.25ポイント上回った。
• 「難易度の高い」と「非常に難しい」語のカテゴリにおいても顕著な改善が見られ、困難な言語的パターンに対する耐性が向上したことが示された。
• フレーム削除増幅（N=0からN=5）の条件下でも、DC-TCNモデルはエンドツーエンドAVRなどのベースラインモデルよりも優れた時間的耐性を示した。
• 完全密接（FD）バージョンは、LRWで88.01%、LRW-1000で43.11%の正確性を達成し、両バージョンで一貫した性能を確認した。
• アブレーションスタディにより、密接接続とSEブロックの両方が性能向上に寄与しており、組み合わせが最も優れた結果をもたらしたことが確認された。