[논문 리뷰] Sign Language Lexical Recognition With Propositional Dynamic Logic

Arturo Curiel, Christophe Collet|arXiv (Cornell University)|2014. 03. 26.

Hand Gesture Recognition Systems참고 문헌 16인용 수 3

한 줄 요약

이 논문은 프랑스 수어의 사인들을 키 포즈와 운동의 순서로 모델링하기 위해 수어를 위한 명제 동적 논리(PDL$_{\mathsf{SL}}$)를 사용하는 형식적 프레임워크를 제안한다. 이를 통해 2차원 손 추적 데이터로부터 반자동으로 사인을 인식하고 검증할 수 있다. 주요 기여는 사인 형태학과 동적 전이의 구조적 분석을 지원하는 논리 기반 표현 방식이며, 실제 코퍼스를 대상으로 한 프로토타입 검증 시스템을 통해 검증되었다.

ABSTRACT

This paper explores the use of Propositional Dynamic Logic (PDL) as a suitable formal framework for describing Sign Language (SL), the language of deaf people, in the context of natural language processing. SLs are visual, complete, standalone languages which are just as expressive as oral languages. Signs in SL usually correspond to sequences of highly specific body postures interleaved with movements, which make reference to real world objects, characters or situations. Here we propose a formal representation of SL signs, that will help us with the analysis of automatically-collected hand tracking data from French Sign Language (FSL) video corpora. We further show how such a representation could help us with the design of computer aided SL verification tools, which in turn would bring us closer to the development of an automatic recognition system for these languages.

연구 동기 및 목표

• 자동 인식 시스템에서 수어에 대한 형식적이고 기계가 처리할 수 있는 기술이 부족한 문제를 해결하기 위해.
• 형식적 논리 프레임워크를 사용해 수어 사인을 키 포즈와 전이의 순서로 모델링하기 위해.
• 논리 공식을 사용해 자동으로 추적된 사인 데이터를 어휘 사인 기술과 대조하여 검증할 수 있도록 하기 위해.
• 수어 인식 및 검증을 위한 컴퓨터 지원 도구 개발을 지원하기 위해.
• 다양한 수어와 추적 기술에 적응 가능한 유연하고 확장 가능한 형식론을 만들기 위해.

제안 방법

• 수어 표현에 특화된 명제 동적 논리의 구현으로서, PDL$_{\mathsf{SL}}$라는 형식적 논리를 정의한다.
• 손 구성, 위치, 방향 및 운동으로 특징지어지는 키 포즈의 순서로 사인을 모델링한다.
• 몸의 운동 기관(예: 주로 사용하는 손, 보조 손, 오른손, 왼손)과 작용 위치(예: HEAD, CHEST), 그리고 방향 벡터(예: ↑, ↗, →) 등의 기본 집합을 사용한다.
• 각 키 포즈를 논리 원자들의 논리곱(예: $\Xi^{\mathbb{R}}_{\mathtt{FACE}}$, $\mathcal{F}^{\mathbb{R}}_{\mathtt{CLAMP}}$)으로 표현하고, 전이를 모달 연산자(예: $\leftarrow_{\mathbb{R}} \cap \rightarrow_{\mathbb{L}}$)로 표현한다.
• 추적된 영상 프레임에서 라벨된 전이 시스템(LTS)을 구성하며, 노드는 포즈를, 간선은 운동을 나타낸다.
• 추적된 사인 시퀀스가 생성된 LTS의 어떤 부분 시퀀스에서도 어휘 데이터베이스의 사인 공식이 참인지 확인하는 검증 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 명제 동적 논리가 수어 사인의 형태학적 및 동적 구조를 효과적으로 형식적으로 기술하는 데 사용될 수 있는가?
• RQ2 논리적 형식론은 2차원 추적 시스템에서 얻은 다중 채널이며 부분적으로 동기화된 수어 데이터를 어떻게 표현할 수 있는가?
• RQ3 논리 공식이 자동으로 인식된 사인 시퀀스의 검증을 어느 정도 지원할 수 있는가?
• RQ4 형식론은 불완전하거나 노이즈가 있는 추적 데이터를 처리하면서도 의미적 일관성을 유지할 수 있는가?
• RQ5 이 프레임워크는 인식, 오류 수정, 기존 수어 표현 시스템과의 통합을 지원하도록 확장될 수 있는가?

주요 결과

• PDL$_{\mathsf{SL}}$ 형식론은 자세, 구성 및 운동에 대한 명제 원자를 사용해 프랑스 수어 사인을 성공적으로 모델링하여 사인 형태학의 정밀한 기술을 가능하게 했다.
• 논리적 모델 체킹 접근을 통해 어휘 데이터베이스의 사인 공식이 생성된 LTS의 부분 시퀀스에서 참인지 검증할 수 있었으며, 알고리즘 1은 각 상태에서 후보 사인 매칭을 반환했다.
• 생성된 라벨된 전이 시스템(LTS)의 일관성을 검증함으로써 단순한 추적 오류를 탐지하고 제거할 수 있었다.
• 이 형식론은 HamNoSys 또는 Zebedee와 같은 기존 수어 표현 시스템과 공통된 명제 원자를 통해 통합될 수 있으며, 확장 가능성이 있다.
• 이 방법은 반자동 인식을 가능하게 하며, 확률적 모델링 및 향상된 의미 검증 기능을 향한 향후 확장의 기반을 제공한다.