[논문 리뷰] Statistical Sign Language Machine Translation: from English written text to American Sign Language Gloss

Achraf Othman, Mohamed Jemni|arXiv (Cornell University)|2011. 12. 01.

Hand Gesture Recognition Systems인용 수 31

한 줄 요약

이 논문은 모세 툴킷을 사용하여 영어 문장에서 미국 수어(ASL) 글로스로 변환하는 통계적 기계 번역 시스템을 제안한다. 이는 새로운 영어-ASL 언어 쌍을 도입하고, Jaro-거리 기반 문자열 매칭을 통해 번역 품질을 향상시켜 후속 3D 아바타 기반 수어 시각화를 위한 글로스 생성에서 더 나은 정렬을 달성한다.

ABSTRACT

This works aims to design a statistical machine translation from English text to American Sign Language (ASL). The system is based on Moses tool with some modifications and the results are synthesized through a 3D avatar for interpretation. First, we translate the input text to gloss, a written form of ASL. Second, we pass the output to the WebSign Plug-in to play the sign. Contributions of this work are the use of a new couple of language English/ASL and an improvement of statistical machine translation based on string matching thanks to Jaro-distance.

연구 동기 및 목표

• written English를 미국 수어(ASL) 글로스로 변환하는 통계적 기계 번역 시스템을 개발하기 위해.
• 수어 처리를 위한 전용 영어-ASL 번역 자원의 부족을 해결하기 위해 새로운 언어 쌍을 구축하기 위해.
• Jaro-거리 메트릭을 사용한 개선된 문자열 매칭을 통해 번역 정확도를 향상시키기 위해.
• WebSign 플러그인을 통한 번역 출력 통합을 통해 실시간 수어 시각화를 가능하게 하기 위해.
• 접근성 응용 프로그램을 위한 텍스트에서 시각적 수어 표현으로의 실용적 파이프라인 기여하기 위해.

제안 방법

• 시스템은 영어에서 ASL 글로스로의 번역을 위한 핵심 프레임워크로 모세 통계적 기계 번역 툴킷을 사용한다.
• 사용자 정의 전처리 단계를 통해 영어 문장을 ASL 글로스 시퀀스로 매핑하여 문법적 및 의미적 구조를 유지한다.
• Jaro-거리가 번역 모델의 단어 정렬을 향상시키기 위해 잠재적 글로스 후보 간 유사도를 측정하는 데 적용된다.
• 결과로 생성된 글로스 시퀀스는 3D 아바타를 사용하여 동적 수어 애니메이션을 렌더링하기 위해 WebSign 플러그인으로 전달된다.
• 시스템은 글로스 수준 번역에 중점을 두고, 단일 언어 및 병렬 双어 데이터를 활용하여 통계 모델을 훈련시킨다.
• 표준 MT 메트릭을 사용하여 평가를 수행하며, 글로스 시퀀스의 자연스러움과 정렬 정도에 대한 정성적 평가도 수행한다.

실험 결과

연구 질문

• RQ1 통계적 기계 번역이 영어 텍스트를 수어의 기록적 표현인 ASL 글로스로 매핑하는 데 어떻게 적응될 수 있는가?
• RQ2 저자원 수어 번역에서 Jaro-거리 도입이 단어 정렬 및 번역 품질에 얼마나 기여하는가?
• RQ3 통계적으로 훈련된 시스템이 3D 수어 애니메이션에 적합한 의미적 및 문법적 글로스 시퀀스를 생성할 수 있는가?
• RQ4 번역 출력을 WebSign 플러그인과 통합하는 것이 실시간 수어 시각화에 얼마나 효과적인가?
• RQ5 영어-ASL 글로스를 위한 통계적 번역 시스템을 구축할 때의 주요 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 문자열 매칭에 Jaro-거리 사용이 번역 모델의 단어 정렬 정확도를 크게 향상시켜 더 일관성 있는 글로스 시퀀스를 도출했다.
• 시스템은 입력 영어 텍스트와 의미적으로 정렬된 ASL 글로스를 성공적으로 생성하여 의미 있는 수어 표현을 가능하게 했다.
• WebSign 플러그인과의 통합을 통해 3D 아바타를 사용한 실시간 수어 애니메이션 재생이 가능해졌으며, 파이프라인의 종단 간 기능성을 검증했다.
• 제안된 영어-ASL 글로스 번역 시스템은 특히 자원이 부족한 수어에 대해 수어 처리 분야에서 새로운 기여를 한다.
• 결과는 언어학적 보완 기법을 결합한 통계적 MT가 수어 번역에 적용될 수 있음을 입증하며, 특히 시각화 도구와 조합했을 때 효과적임을 보여준다.
• 특히 어휘적 및 문법적 변형을 다룰 때 기준 모델 대비 글로스 시퀀스 품질에 측정 가능한 향상이 이루어졌다.