[논문 리뷰] A prototype Malayalam to Sign Language Automatic Translator

Jestin Joy, Kannan Balakrishnan|arXiv (Cornell University)|2014. 12. 23.

Hand Gesture Recognition Systems참고 문헌 8인용 수 4

한 줄 요약

이 논문은 중간 표기법을 생략하고 규칙 기반 접근 방식을 사용하여 말라요람어 텍스트를 서면 수어로 자동으로 번역하는 프로토타입 시스템을 제시한다. 이 시스템은 래핑된 인간 모델을 통해 3차원 애니메이션 수어 출력을 생성하며, 케랄라에서 청각 장애인 간의 소통과 수어 교육을 위한 표준화되고 접근 가능한 도구를 제공한다. 모바일 배포 및 웹 통합 가능성이 있다.

ABSTRACT

Sign language, which is a medium of communication for deaf people, uses manual communication and body language to convey meaning, as opposed to using sound. This paper presents a prototype Malayalam text to sign language translation system. The proposed system takes Malayalam text as input and generates corresponding Sign Language. Output animation is rendered using a computer generated model. This system will help to disseminate information to the deaf people in public utility places like railways, banks, hospitals etc. This will also act as an educational tool in learning Sign Language.

연구 동기 및 목표

• 지역적 변형으로 인해 효과적인 소통이 어려운 케랄라에서 표준화된 수어 사용의 부족을 해결하기 위해.
• 말라요람어 텍스트를 수어로 자동으로 번역하는 시스템을 개발하여 희소한 인간 통역사에 대한 의존도를 줄이기 위해.
• 기술을 활용하여 케랄라에서 수어 학습을 위한 표준화된 교육 도구를 만들기 위해.
• 병원 및 은행과 같은 기관에서 수어로 정보에 접근할 수 있도록 자동 번역을 통해 대중의 접근성을 높이기 위해.
• 중간 수어 표기 체계(예: HamNoSys) 없이 직접 텍스트에서 3D 애니메이션으로의 번역 가능성을 탐색하기 위해.

제안 방법

• 시스템은 품사 태거를 통해 말라요람어 텍스트를 처리하여 품사 정보를 식별한다.
• 최적화 모듈은 수어에서 필요로 하지 않는 기능어 및 문법적 요소를 제거한다.
• 어간화 모듈은 의미 일관성을 확보하기 위해 단어를 어간 형태로 축소한다.
• 어간화 처리 결과는 규칙 기반 시스템을 통해 직접 3차원 애니메이션 인간 모델에 매핑된다.
• 애니메이션은 Debian GNU/Linux에서 무료 소프트웨어를 사용해 关键 프레임의 시퀀스로 생성되며, 자연스러운 운동을 위해 부드러운 블렌딩이 적용된다.
• 시스템은 중간 수어 표기 체계(예: HamNoSys)를 회피하고 직접 텍스트에서 애니메이션으로의 번역을 수행한다.

실험 결과

연구 질문

• RQ1 중간 표기 체계를 사용하지 않고도 규칙 기반 시스템이 말라요람어 텍스트를 수어로 효과적으로 번역할 수 있는가?
• RQ2 형태학적 및 문법 처리를 통해 말라요람어 텍스트에서 수어 생성의 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 3차원 애니메이션 모델이 얼굴 표정을 최소화하면서도 말라요람어에서 수어로의 번역을 얼마나 잘 표현할 수 있는가?
• RQ4 이러한 시스템이 비균일한 수어 관행이 있는 지역에서 수어 학습을 위한 표준화된 도구로 활용될 수 있는가?
• RQ5 공공 유틸리티 환경에 이러한 시스템을 구현할 때의 기술적 및 사용성 도전 과제는 무엇인가?

주요 결과

• 시스템은 HamNoSys와 같은 중간 수어 표기 체계에 의존하지 않고도 말라요람어 텍스트를 3차원 애니메이션 수어 출력으로 성공적으로 번역한다.
• 애니메이션은 Debian GNU/Linux에서 무료 소프트웨어를 사용해 关键 프레임 시퀀스로 생성되어 오픈소스이자 확장 가능한 구현을 보장한다.
• 최적화 모듈을 통해 비필수 단어가 제거되어 수어가 기능어를 생략하는 경향과 일치한다.
• 어간화 과정을 통해 단어가 어간 형태로 축소되어 애니메이션 단계에서 수어 제스처에 일관되게 매핑된다.
• 프로토타입은 모바일 배포 및 웹 콘텐츠 통합을 위한 공공 접근성을 고려해 실현 가능성을 입증한다.
• 지역적 변형이 존재하는 케랄라에서 수어 사용의 표준화를 위한 기초 도구를 제공한다.