[論文レビュー] Sign Language Lexical Recognition With Propositional Dynamic Logic

Arturo Curiel, Christophe Collet|arXiv (Cornell University)|Mar 26, 2014

Hand Gesture Recognition Systems参考文献 16被引用数 3

ひとこと要約

本稿では、2次元の手の追跡データから、フランス手話の文字を、キーポーズと動きのシーケンスとして形式的モデリングするための、手話用命題的動的論理（PDL$_{\mathsf{SL}}$）を用いた形式的フレームワークを提案する。主な貢献は、ポーズの構造的分析と動的遷移を可能にする論理ベースの表現であり、実データコーパスを用いたプロトタイプ検証システムにより検証されている。

ABSTRACT

This paper explores the use of Propositional Dynamic Logic (PDL) as a suitable formal framework for describing Sign Language (SL), the language of deaf people, in the context of natural language processing. SLs are visual, complete, standalone languages which are just as expressive as oral languages. Signs in SL usually correspond to sequences of highly specific body postures interleaved with movements, which make reference to real world objects, characters or situations. Here we propose a formal representation of SL signs, that will help us with the analysis of automatically-collected hand tracking data from French Sign Language (FSL) video corpora. We further show how such a representation could help us with the design of computer aided SL verification tools, which in turn would bring us closer to the development of an automatic recognition system for these languages.

研究の動機と目的

• 自動認識システムにおける手話の形式的かつ機械処理可能な記述の不足に対処すること。
• 形式的論理フレームワークを用いて、キーポーズと遷移のシーケンスとして手話をモデリングすること。
• 論理式を用いて、自動追跡された手話データを語彙的記述と照合して検証することを可能にすること。
• 手話認識および検証のためのコンピュータ支援ツールの開発を支援すること。
• 異なる手話言語および追跡技術に適応可能な柔軟で拡張可能な形式的記述を提供すること。

提案手法

• 手話表現に特化した命題的動的論理（PDL）のインスタンスとして、PDL$_{\mathsf{SL}}$と呼ばれる形式的論理を定義する。
• 手の配置、位置、姿勢、動きを特徴とするキーポーズのシーケンスとして、手話をモデリングする。
• 体の関節（例：優位、非優位、右、左の手）、発音部位（例：HEAD、CHEST）、方向ベクトル（例：↑、↗、→）などの原始的集合を用いる。
• 各キーポーズを、命題原子（例：$\Xi^{\mathbb{R}}_{\mathtt{FACE}}$、$\mathcal{F}^{\mathbb{R}}_{\mathtt{CLAMP}}$）の論理積として表現し、遷移をモダリティ演算子（例：$\leftarrow_{\mathbb{R}} \cap \rightarrow_{\mathbb{L}}$）として表現する。
• 追跡された動画フレームからラベル付き遷移系（LTS）を構築し、ノードをポーズ、エッジを動きとして表現する。
• 生成されたLTSの任意の部分列において、語彙データベースからの符号号化された手話式が成り立つかを検証するアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 命題的動的論理は、手話の文字の形態的および動的構造を形式的に記述するために効果的に使用可能か？
• RQ2 論理的記述は、2次元追跡システムからのマルチチャネルで部分的に同期された手話データをどのように表現できるか？
• RQ3 論理式は、自動認識された手話シーケンスの検証をどの程度サポートできるか？
• RQ4 形式的記述は、不完全またはノイズの多い追跡データを処理しながらも意味的整合性を保てるか？
• RQ5 このフレームワークは、認識、誤り訂正、および既存の手話表現システムとの統合をサポートするために拡張可能か？

主な発見

• PDL$_{\mathsf{SL}}$形式的記述は、ポーズ、配置、動きの命題原子を用いてフランス手話の文字を効果的にモデリングでき、文字の形態的記述を正確に可能にした。
• 論理的モデルチェックイングのアプローチを用いて、生成されたLTSの任意の部分列において語彙データベースからの符号号化された手話式が成り立つかを検証するフレームワークが実現され、アルゴリズム1は各状態ごとに候補となる手話の一致を返す。
• 生成されたラベル付き遷移系（LTS）の整合性を検証することで、単純な追跡誤りを検出し、破棄することができる。
• 形式的記述は拡張可能であり、共通の命題原子を介してHamNoSysやZebedeeなどの既存の手話表現システムと統合可能である。
• 本アプローチは、半自動認識を可能にし、確率的モデリングやより洗練された意味的検証の今後の拡張の基盤を提供する。