[논문 리뷰] Toward an example-based machine translation from written text to ASL using virtual agent animation

Mehrez Boulares, Mohamed Jemni|arXiv (Cornell University)|2012. 03. 14.

Hand Gesture Recognition Systems참고 문헌 17인용 수 12

한 줄 요약

이 논문은 가상 에이전트를 사용하여 문장 형태의 텍스트를 표현력 있는 미국 수어(ASL) 애니메이션으로 변환하는 예시 기반 기계 번역 시스템을 제안한다. 언어적 주석 처리, 유전적 알고리즘과 퍼지 논리 기반의 표정 모델링, 그리고 새로운 텍스트 적응형 수어 모델링 언어(TASML)를 통합하여 수어 애니메이션의 자연스러움과 의미의 정확성을 향상시키며, 기존 시스템에 비해 더 현실적이고 해석 가능한 ASL 출력을 달성한다.

ABSTRACT

Modern computational linguistic software cannot produce important aspects of sign language translation. Using some researches we deduce that the majority of automatic sign language translation systems ignore many aspects when they generate animation; therefore the interpretation lost the truth information meaning. Our goals are: to translate written text from any language to ASL animation; to model maximum raw information using machine learning and computational techniques; and to produce a more adapted and expressive form to natural looking and understandable ASL animations. Our methods include linguistic annotation of initial text and semantic orientation to generate the facial expression. We use the genetic algorithms coupled to learning/recognized systems to produce the most natural form. To detect emotion we are based on fuzzy logic to produce the degree of interpolation between facial expressions. Roughly, we present a new expressive language Text Adapted Sign Modeling Language TASML that describes all maximum aspects related to a natural sign language interpretation. This paper is organized as follow: the next section is devoted to present the comprehension effect of using Space/Time/SVO form in ASL animation based on experimentation. In section 3, we describe our technical considerations. We present the general approach we adopted to develop our tool in section 4. Finally, we give some perspectives and future works.

연구 동기 및 목표

• 문서의 의미와 감정을 유지하면서 자연스럽고 실제적인 ASL 애니메이션을 생성하는 기계 번역 시스템을 개발하는 것.
• 기존 시스템에서 무시되는 경향이 있는 수어의 핵심 요소인 표정, 공간 문법, 정서적 맥락을 모델링하고 유지하는 것.
• 새로운 모델링 언어인 텍스트 적응형 수어 모델링 언어(TASML)를 통해 수어 특성의 종합적인 표현을 창출하는 것.
• 유전적 알고리즘과 퍼지 논리와 같은 계산 기법을 활용하여 생성된 ASL 애니메이션의 표현력과 이해 가능성 향상시키는 것.
• ASL 의미에 필수적인 비수기적 특징과 문법적 구조를 포착하지 못하는 자동 수어 번역 시스템의 격차를 해소하는 것.

제안 방법

• ASL 매핑을 위한 문법적 및 의미적 구조를 추출하기 위해 입력 텍스트의 언어적 주석 처리.
• 문장 맥락에 기반하여 적절한 표정을 생성하기 위해 의미 방향성 기법 적용.
• 최적의 수어 시퀀스를 진화시켜 자연스러운 수어 애니메이션 생성을 최적화하기 위해 유전적 알고리즘 사용.
• 감정 상태를 모델링하고 강도가 점진적인 표정 간의 보간을 위해 퍼지 논리 활용.
• 자연스러운 수어 해석의 모든 중요한 특징을 인코딩하기 위해 새로운 도메인 전용 언어인 텍스트 적응형 수어 모델링 언어(TASML) 설계 및 구현.
• 수어의 문법적 선호도를 반영하기 위해 공간적, 시간적, SVO(주어-동사-목적어) 구조 모델링 통합.

실험 결과

연구 질문

• RQ1 어떻게 문장 형태의 텍스트를 의미적 및 정서적 의미를 유지하면서 ASL 애니메이션으로 효과적으로 매핑할 수 있는가?
• RQ2 어떤 계산 기법이 가상 에이전트가 생성한 ASL 애니메이션의 자연스러움과 표현력을 향상시킬 수 있는가?
• RQ3 수어 애니메이션에서 표정과 정서 상태를 체계적으로 모델링하고 보간할 수 있는가?
• RQ4 도메인 전용 모델링 언어(TASML)가 자연스러운 수어 해석에 필요한 전반적인 특징을 얼마나 잘 표현할 수 있는가?
• RQ5 유전적 알고리즘이 규칙 기반 또는 히우리스틱 방법에 비해 자동 생성된 ASL 애니메이션의 품질과 현실감을 향상시킬 수 있는가?

주요 결과

• 제안된 시스템은 SVO 및 공간-시간 조직과 같은 문법적 구조를 반영한 ASL 애니메이션을 성공적으로 생성하여 이해 가능성 향상.
• 의미 방향성과 퍼지 논리를 통해 정확한 표정이 생성되어 수어 애니메이션에서 현실적인 정서 표현 가능.
• 유전적 알고리즘의 활용으로 기존 규칙 기반 접근법 대비 더 자연스럽고 유창한 수어 시퀀스 생성.
• 텍스트 적응형 수어 모델링 언어(TASML)는 비수기적 특징과 문법적 구조를 포함한 수어의 핵심 요소를 효과적으로 캡처하고 인코딩.
• 실험 결과, 기존 시스템이 종종 표정과 공간 문법을 간과하는 데 비해, 본 시스템은 더 표현력 있고 이해하기 쉬운 ASL 애니메이션을 생성함.