[論文レビュー] Can We Read Speech Beyond the Lips? Rethinking RoI Selection for Deep Visual Speech Recognition

Yuanhang Zhang, Shuang Yang+3 more|arXiv (Cornell University)|Mar 6, 2020

Speech and Audio Processing参考文献 34被引用数 6

ひとこと要約

この論文は、視覚的発話認識（VSR）における伝統的な唇領域への注目を疑問視し、頬や上顔面などの唇外の顔領域が認識性能を顕著に向上させることを示している。顔のアラインメント済み入力を用いた単純なCutout増幅手法により、モデルが唇以外の領域からの判別的特徴を学習するよう促す。この手法により、語彙レベルおよび文レベルのベンチマークで最先端の性能を達成し、唇のみを対象としたベースライン比で最高6.5%の向上を達成した。

ABSTRACT

Recent advances in deep learning have heightened interest among researchers in the field of visual speech recognition (VSR). Currently, most existing methods equate VSR with automatic lip reading, which attempts to recognise speech by analysing lip motion. However, human experience and psychological studies suggest that we do not always fix our gaze at each other's lips during a face-to-face conversation, but rather scan the whole face repetitively. This inspires us to revisit a fundamental yet somehow overlooked problem: can VSR models benefit from reading extraoral facial regions, i.e. beyond the lips? In this paper, we perform a comprehensive study to evaluate the effects of different facial regions with state-of-the-art VSR models, including the mouth, the whole face, the upper face, and even the cheeks. Experiments are conducted on both word-level and sentence-level benchmarks with different characteristics. We find that despite the complex variations of the data, incorporating information from extraoral facial regions, even the upper face, consistently benefits VSR performance. Furthermore, we introduce a simple yet effective method based on Cutout to learn more discriminative features for face-based VSR, hoping to maximise the utility of information encoded in different facial regions. Our experiments show obvious improvements over existing state-of-the-art methods that use only the lip region as inputs, a result we believe would probably provide the VSR community with some new and exciting insights.

研究の動機と目的

• 視覚的発話認識（VSR）モデルが、唇以外の顔領域からも利益を得られることを調査し、長年にわたり「唇の動きのみが情報を持つ」という仮定に疑問を呈すること。
• 多様なデータセットおよびタスクにおいて、口、顔全体、上顔面、頬といった異なる顔領域の寄与度を評価すること。
• モデルが唇外の顔領域から強固で判別的な特徴を学習できるように促す、単純だが効果的なデータ増幅手法を開発すること。
• 明示的な唇領域のクロッピングに依存するのを減らし、人間の視覚的スキャン行動により適合する包括的で顔ベースのVSRのアプローチを促進すること。

提案手法

• 著者らは、入力フレームの矩形領域をランダムにマスクするデータ増幅技術「Cutout」を用い、トレーニング中にモデルが唇以外の顔領域に注目するよう促している。
• 顔のランドマークを用いて入力をアラインメントし、空間的一致性を確保し、RoIとして顔全体、口、上顔面、頬を定義して、異なる領域における性能を比較している。
• 時間的モデリングには双方向GRUを用い、ResNet-34バックボーンを採用し、語彙レベル（LRW）および文レベル（GRID, LRW-1000）のベンチマークでエンドツーエンドにトレーニングしている。
• 類似度マップと空間的・時間的マスキングを用いて、モデルの注目度を解釈し、予測に寄与する重要な顔領域を同定している。
• 注目度に基づくRoI選択（例：CBAM）と比較することで、暗黙的な注目メカニズムが同様の恩恵をもたらすかどうかを評価している。
• 頭部の姿勢変動（ヨー回転）に対する耐性をテストするために、さまざまな姿勢条件での性能を評価している。

Figure 1: Common practices for RoI selection in VSR. To date, there is no clear consensus on a best practice, resulting in very different RoIs in different works (see Sec. II-A ). Top row: examples of frames from talking face videos. Bottom row: some examples of cropped RoIs in prior work, from left

実験結果

リサーチクエスチョン

• RQ1 視覚的発話認識モデルは、頬や上顔面といった唇以外の顔領域からも利益を得られるか？
• RQ2 Cutoutによるデータ増幅は、唇外の顔の手がかりに注目するよう強制することで、モデルの一般化性能を向上させるか？
• RQ3 語彙レベルおよび文レベルのVSRタスクにおいて、異なる顔領域が認識性能にどのように寄与しているか？
• RQ4 Cutoutのような単純な増幅手法が、より複雑な注目メカニズムを凌駆する能力を持つのか？
• RQ5 提案手法は、現実世界の頭部姿勢の変動に対してどれほど頑健か？

主な発見

• Cutout増幅モデルは、LRW-1000データセットで45.24%の精度を達成し、唇のみを対象としたベースラインモデル（38.64%）と比較して6.5%の向上を示した。
• 7×7のパッチを遮断する場合でさえ、Cutoutモデルの性能低下は2%未満にとどまるが、ベースラインモデルは最大40%の低下を示し、唇外領域における遮断耐性が裏付けられた。
• 類似度マップから、Cutoutモデルは唇だけでなく、頬、眉、上顔面に注目していることが判明し、非唇領域からの特徴の学習が効果的に行われていることが示された。
• Cutoutでトレーニングされたモデルは、頭部の姿勢変動に対しても強い性能を維持し、やや簡単な（ヨー ≥ 20°）および中程度の（ヨー ≥ 40°）姿勢サブセットで、ベースラインと比較して約2%の向上を示した。
• 空間的・時間的マスキングの結果、頬や上顔面といった唇外領域が予測に顕著に寄与していることが確認され、これらの領域をマスキングすると性能が10%以上低下した。
• Cutout増幅モデルはCBAM増幅モデルを上回り、明示的な注目メカニズムが、単純なデータ増幅に比べて微細な唇外の手がかりを十分に捉えていないことが示された。

Figure 2: Illustration of the sub-face RoIs defined in this paper. We train baselines on the whole face (blue), the upper face (purple), the cheeks (orange), and the mouth (red).