[論文レビュー] 3D Feature Pyramid Attention Module for Robust Visual Speech Recognition

Jingyun Xiao|arXiv (Cornell University)|Oct 15, 2018

Speech and Audio Processing参考文献 20被引用数 4

ひとこと要約

本稿では、空間的および時間的次元にわたりマルチスケール特徴を学習可能なアテンション機構を用いて統合することで、視覚的発話認識における空間時間的特徴表現を向上させる3次元特徴ピラミッドアテンション（3D-FPA）モジュールを提案する。このモジュールは、LipNetでは語誤り率を3.6%改善し、語レベルのモデルでは正解率を1.4%向上させ、類似発音語や短時間語の識別に優れた耐性を示している。

ABSTRACT

Visual speech recognition is the task to decode the speech content from a video based on visual information, especially the movements of lips. It is also referenced as lipreading. Motivated by two problems existing in lipreading, words with similar pronunciation and the variation of word duration, we propose a novel 3D Feature Pyramid Attention (3D-FPA) module to jointly improve the representation power of features in both the spatial and temporal domains. Specifically, the input features are downsampled for 3 times in both the spatial and temporal dimensions to construct spatiotemporal feature pyramids. Then high-level features are upsampled and combined with low-level features, finally generating a pixel-level soft attention mask to be multiplied with the input features.It enhances the discriminative power of features and exploits the temporal multi-scale information while decoding the visual speeches. Also, this module provides a new method to construct and utilize temporal pyramid structures in video analysis tasks. The field of temporal featrue pyramids are still under exploring compared to the plentiful works on spatial feature pyramids for image analysis tasks. To validate the effectiveness and adaptability of our proposed module, we embed the module in a sentence-level lipreading model, LipNet, with the result of 3.6% absolute decrease in word error rate, and a word-level model, with the result of 1.4% absolute improvement in accuracy.

研究の動機と目的

• 類似発音語の区別が困難な視覚的発話認識の課題に対処すること。
• 十分な時間的文脈が得られない短時間語の認識を向上させること。
• マルチスケールの空間的および時間的情報を活用して、判別性の高い特徴表現を向上させること。
• 動画分析タスクにおける時間的ピラミッド構造を構築する汎用的メソッドの開発。
• 3D-FPAモジュールの有効性を、さまざまなリップリーディングアーキテクチャおよびデータセットで示すこと。

提案手法

• 入力特徴を空間的および時間的次元でそれぞれ3倍にダウンサンプリングすることで3次元特徴ピラミッドを構築する。
• 高レベル特徴を用いて特徴統合とチャネルワイドアテンションによりピクセル単位のソフトアテンションマスクを生成する。
• アテンションマスクをアップサンプリングし、低レベル特徴と組み合わせて特徴表現を精緻化する。
• 特徴学習のスケールを横断的にガイドするために、ResNetブロックの前後および内部に3D-FPAモジュールを統合する。
• セマンティックセグメンテーションで用いられる2次元FPA機構を時間次元に拡張することで、3次元動画タスクに適応させる。
• 標準的な最適化（SGD、学習率0.003、モーメンタム0.9）でエンドツーエンド学習を行い、LRWコーパスではドロップアウトを適用せずバッチ正規化を適用する。

実験結果

リサーチクエスチョン

• RQ1 3次元特徴ピラミッドアテンション機構は、特に類似発音語に対して識別力の向上を図ることができるか？
• RQ2 提案された3D-FPAモジュールは、短時間語のマルチスケール時間的文脈をどれほど効果的に捉えられるか？
• RQ3 3D-FPAモジュールは、さまざまなリップリーディングアーキテクチャ（例：LipNetおよびCRNL）において、どれほど性能を向上させるか？
• RQ4 アテンションを統合した時間的ピラミッド構造は、動画理解タスクにおける一般化性能を向上させるか？
• RQ5 どの種類の語が3D-FPAモジュールによって最も正解率の向上を受けるか？

主な発見

• GRIDコーパスで評価した文レベルのLipNetモデルにおいて、3D-FPAモジュールは語誤り率を3.6%低減した。
• 語レベルのCRNLモデルでは、4つのモジュールを用いた場合、正解率が77.8%から79.26%に向上し、絶対値で1.46%の改善を示した。
• 『Difference』と『Different』のような類似した発音的終端を持つ語では、正解率が72%から88%に向上し、最も高い向上を示した。
• 『Million』や『Billion』のような語では、正解率が64%から76%に12%向上し、初期音の違いの識別が向上した。
• 『Under』（31%から38%に向上）や『Could』（48%から51%に向上）のような短い語においても一貫した改善が見られ、通常は識別が難しい語の認識が向上した。
• 3D-FPAモジュールは、初期フレームや最終フレームにおける視覚的差が微細な語（例：『Taking』対『Taken』）の区別に特に効果的であった。