[論文レビュー] Quantitative Survey of the State of the Art in Sign Language Recognition

Oscar Koller|arXiv (Cornell University)|Aug 22, 2020

Hand Gesture Recognition Systems参考文献 278被引用数 58

ひとこと要約

この論文は、手話認識アプローチの定量的調査を提供し、結果全体でモダリティの使用を強調します。表 S6 は 26 のモダリティ組み合わせと語彙サイズ別の相対頻度を詳述します。

ABSTRACT

This work presents a meta study covering around 300 published sign language recognition papers with over 400 experimental results. It includes most papers between the start of the field in 1983 and 2020. Additionally, it covers a fine-grained analysis on over 25 studies that have compared their recognition approaches on RWTH-PHOENIX-Weather 2014, the standard benchmark task of the field. Research in the domain of sign language recognition has progressed significantly in the last decade, reaching a point where the task attracts much more attention than ever before. This study compiles the state of the art in a concise way to help advance the field and reveal open questions. Moreover, all of this meta study's source data is made public, easing future work with it and further expansion. The analyzed papers have been manually labeled with a set of categories. The data reveals many insights, such as, among others, shifts in the field from intrusive to non-intrusive capturing, from local to global features and the lack of non-manual parameters included in medium and larger vocabulary recognition systems. Surprisingly, RWTH-PHOENIX-Weather with a vocabulary of 1080 signs represents the only resource for large vocabulary continuous sign language recognition benchmarking world wide.

研究の動機と目的

• 公開済みの結果で使用される手話認識モダリティの分布を評価する
• 語彙サイズが増えるにつれてモダリティの選択がどのように変化するかを定量化する
• 文献中で最も普及しているマニュアルおよびノンマニュアルのパラメータの組み合わせを特定する
• SLR 実験のモダリティを選択する研究者のための簡潔な参照を提供する

提案手法

• 定義された語彙範囲を伴う公開済みの手話認識結果を収集する
• 使用されたモダリティの組み合わせ（Loc, Mov, Shape, Orient, Joints, Fullframe, Depth, Motion）に従って各結果を分類する
• 各語彙範囲内で各モダリティ組み合わせの相対頻度を計算する
• モダリティの普及状況を示す要約統計を提示する（例：表 S6）
• 共有補足資料の切り捨てやデータ品質の問題を指摘する

実験結果

リサーチクエスチョン

• RQ1 手話認識研究で最も一般的に使用されているモダリティの組み合わせは何ですか？
• RQ2 モデリングされた語彙サイズが大きくなるにつれてモダリティの使用はどのように変化しますか？
• RQ3 語彙範囲ごとに fullframe と特定の手・形状・向きモダリティの相対的な普及度はどの程度ですか？
• RQ4 文献全体におけるマニュアル対ノンマニュアルのパラメータ使用に顕著な傾向はありますか？

主な発見

• 表 S6 は、語彙範囲内で最も頻繁に使用される 26 のモダリティの組み合わせと、それらの相対頻度を報告します。
• 結果は、同じ語彙範囲内のすべての結果に対するパーセンテージとして提示されます。
• 例として：1000 サインを超える語彙をモデル化した結果のうち39%は fully on the fullframe モダリティに依存しており、7%は手の形状モダリティに依存しています。