[论文解读] A prototype Malayalam to Sign Language Automatic Translator

Jestin Joy, Kannan Balakrishnan|arXiv (Cornell University)|Dec 23, 2014

Hand Gesture Recognition Systems参考文献 8被引用 4

一句话总结

本论文提出了一套原型系统，采用基于规则的方法自动将马拉雅拉姆语文本转换为手语，跳过中间符号表示。系统通过绑定的人体模型生成3D动画手语输出，为喀拉拉邦的聋人交流和手语教育提供标准化、可访问的工具，具备移动部署和网页集成的潜力。

ABSTRACT

Sign language, which is a medium of communication for deaf people, uses manual communication and body language to convey meaning, as opposed to using sound. This paper presents a prototype Malayalam text to sign language translation system. The proposed system takes Malayalam text as input and generates corresponding Sign Language. Output animation is rendered using a computer generated model. This system will help to disseminate information to the deaf people in public utility places like railways, banks, hospitals etc. This will also act as an educational tool in learning Sign Language.

研究动机与目标

• 解决喀拉拉邦手语使用缺乏标准化的问题，该地区存在区域差异，阻碍了有效沟通。
• 开发一种自动将马拉雅拉姆语文本转换为手语的系统，减少对稀缺人工翻译员的依赖。
• 利用技术开发一种标准化的手语学习教育工具，供喀拉拉邦使用。
• 通过机构（如医院和银行）的自动化翻译，使公众能够获取手语信息。
• 探索直接从文本到3D动画转换的可行性，无需中间手语符号系统。

提出的方法

• 系统通过词性标注器处理马拉雅拉姆语文本，识别词性。
• 优化模块移除手语中不需要的功能词和语法成分。
• 词干提取模块将词语简化为其词根形式，以确保手语表征的语义一致性。
• 词干提取的输出通过基于规则的系统直接映射到3D动画人体模型。
• 动画以关键帧序列形式在Debian GNU/Linux上的自由软件中生成，通过平滑插值实现自然运动。
• 系统避免使用如HamNoSys等中间手语符号系统，直接从文本生成动画。

实验结果

研究问题

• RQ1 基于规则的系统能否在不使用中间符号系统的情况下，有效将马拉雅拉姆语文本转换为手语？
• RQ2 形态学和句法处理如何提升从马拉雅拉姆语文本生成手语的准确性？
• RQ3 3D动画模型在面部表情极少的情况下，能在多大程度上准确表示马拉雅拉姆语至手语的转换？
• RQ4 此类系统能否作为非统一手语实践地区标准化手语学习工具？
• RQ5 在公共设施环境中部署此类系统面临哪些技术与可用性挑战？

主要发现

• 系统成功实现了马拉雅拉姆语文本到3D动画手语输出的转换，且无需依赖如HamNoSys等中间手语符号系统。
• 动画使用Debian GNU/Linux上的自由软件生成关键帧序列，确保了开源与可扩展的实现。
• 通过优化模块剔除非必要词汇，符合手语省略功能词的特征。
• 词干提取将词语简化为词根形式，使动画阶段能一致地映射到手语手势。
• 原型系统证明了其具备移动部署和与网页内容集成的可行性，以提升公众可及性。
• 该系统为喀拉拉邦当前存在区域差异的手语使用提供了标准化的基础工具。