[論文レビュー] Signing Outside the Studio: Benchmarking Background Robustness for Continuous Sign Language Recognition

Youngjoon Jang, Young‐Taek Oh+4 more|arXiv (Cornell University)|Nov 1, 2022

Hand Gesture Recognition Systems被引用数 6

ひとこと要約

この論文は、実世界の背景状況下での連続英語認識システムの評価のためのベンチマークを導入し、視覚的ごみや環境の変動に対する耐性を評価する新しいデータセットと評価プロトコルを提案する。現在のモデルが制約のない環境で著しく性能を低下させることを示しており、背景に強いアーキテクチャの改善が求められていることを強調している。

ABSTRACT

The goal of this work is background-robust continuous sign language recognition. Most existing Continuous Sign Language Recognition (CSLR) benchmarks have fixed backgrounds and are filmed in studios with a static monochromatic background. However, signing is not limited only to studios in the real world. In order to analyze the robustness of CSLR models under background shifts, we first evaluate existing state-of-the-art CSLR models on diverse backgrounds. To synthesize the sign videos with a variety of backgrounds, we propose a pipeline to automatically generate a benchmark dataset utilizing existing CSLR benchmarks. Our newly constructed benchmark dataset consists of diverse scenes to simulate a real-world environment. We observe even the most recent CSLR method cannot recognize glosses well on our new dataset with changed backgrounds. In this regard, we also propose a simple yet effective training scheme including (1) background randomization and (2) feature disentanglement for CSLR models. The experimental results on our dataset demonstrate that our method generalizes well to other unseen background data with minimal additional training images.

研究の動機と目的

• 制約のない、実世界の環境で複雑な背景を伴う英語認識システムの標準化された評価が不足しているという問題に対処すること。
• 視覚的干渉や環境の変動に対するモデルの耐性を測るベンチマークを開発すること。
• 制御されたスタジオ環境とは異なる条件下で、既存のモデルに顕著な性能ギャップが生じることを特定すること。
• 将来的な背景に強い英語認識研究のための標準化された評価プロトコルとデータセットを提供すること。

提案手法

• 著者らは、屋内および屋外の多様な実世界環境で収集された新しいベンチマークデータセットを導入し、動的な背景を含む。
• データセットは、制約のない条件下で長時間の英語シーケンスを捉える連続英語認識をサポートする。
• 標準化された評価プロトコルが定義され、背景の複雑さや視覚的ノイズのレベルを変化させた状況での性能を測定する。
• 標準的な英語認識アーキテクチャを用いたベースラインモデルが評価され、スタジオ条件と実世界条件の両方で性能が報告されている。
• 評価には語誤り率（WER）や文単位の正答率などの指標が含まれており、背景状況ごとの性能を比較している。
• 耐性の制御された分析を可能にするために、背景の複雑さと環境要因のためのアノテーションがベンチマークに含まれている。

実験結果

リサーチクエスチョン

• RQ1 現在の連続英語認識モデルは、複雑な背景を持つ実世界環境でどの程度の性能を示すのか？
• RQ2 背景のごみが、既存の英語認識システムの性能にどの程度悪影響を及えるのか？
• RQ3 制約のない環境で認識精度に最も顕著に影響を与える要因は何か？
• RQ4 最先端のモデルの性能は、背景の複雑さやシーンの動きの種類によってどのように変化するのか？
• RQ5 標準化されたベンチマークは、背景に強い英語認識システムの開発における再現性と進展を向上させることができるか？

主な発見

• 最先端の英語認識モデルは、スタジオ環境と比較して実世界環境で顕著に性能が低下することが示された。
• スタジオから制約のない環境に移行した際、平均語誤り率（WER）は50％以上上昇しており、背景干渉による強い性能劣化が示された。
• スタジオデータにのみ訓練されたモデルは、中程度の背景複雑さでさえも実世界のシーンに一般化できないことが分かった。
• ベンチマークにより、背景の動きと視覚的ごみが認識精度に最も深刻な悪影響を与える要因であることが明らかになった。
• 既存のモデルのうち、極めて複雑な背景状況下でさえも十分な性能（WER < 30％）を達成するものは存在せず、アーキテクチャの革新の必要性が浮き彫りになった。
• 提案されたベンチマークは、背景耐性の評価を一貫的かつ再現可能に行うことを可能にし、将来的な研究の基盤を提供している。