[论文解读] A Topological derivative based image segmentation for sign language recognition system using isotropic filter

M. Krishnaveni, V. Radha|arXiv (Cornell University)|Jan 12, 2010

Hand Gesture Recognition Systems参考文献 9被引用 4

一句话总结

本文提出一种基于拓扑导数的图像分割方法，并结合各向同性滤波，以提升手语识别中手部姿态检测的性能。通过在分割前应用拓扑导数进行图像修复，该方法显著提高了手部形状与背景的区分准确率，从而显著增强了听力障碍者通信系统中的识别性能。

ABSTRACT

The need of sign language is increasing radically especially to hearing impaired community. Only few research groups try to automatically recognize sign language from video, colored gloves and etc. Their approach requires a valid segmentation of the data that is used for training and of the data that is used to be recognized. Recognition of a sign language image sequence is challenging because of the variety of hand shapes and hand motions. Here, this paper proposes to apply a combination of image segmentation with restoration using topological derivatives for achieving high recognition accuracy. Image quality measures are conceded here to differentiate the methods both subjectively as well as objectively. Experiments show that the additional use of the restoration before segmenting the postures significantly improves the correct rate of hand detection, and that the discrete derivatives yields a high rate of discrimination between different static hand postures as well as between hand postures and the scene background. Eventually, the research is to contribute to the implementation of automated sign language recognition system mainly established for the welfare purpose.

研究动机与目标

• 为解决听力障碍者在手语视频序列中实现准确手部姿态检测的挑战。
• 在手部形状在形态与运动上差异显著的复杂背景下，提升分割质量。
• 通过在分割前引入基于拓扑导数的图像修复，提升识别准确率。
• 通过主观与客观图像质量度量对方法进行比较。
• 为自动化、面向福利的手语识别系统的发展做出贡献。

提出的方法

• 该方法利用拓扑导数在分割前检测并恢复图像特征，从而提升手部区域提取的保真度。
• 应用各向同性滤波器对图像进行平滑处理，降低噪声，提升拓扑导数计算的有效性。
• 采用边界积分公式计算拓扑导数，以识别最优的域扰动位置，如孔洞插入位置。
• 在图像修复后执行分割，利用增强后的图像将手部姿态与背景分离。
• 通过客观度量（指标）与主观评估（视觉检查）对图像质量进行评估，以比较性能。
• 该方法在静态手语姿态上进行评估，重点在于手部与背景的区分能力。

实验结果

研究问题

• RQ1 基于拓扑导数的修复是否能提升手语图像序列中的分割准确率？
• RQ2 各向同性滤波在不同光照与背景条件下，如何提升手部区域检测的鲁棒性？
• RQ3 使用拓扑导数进行预处理在多大程度上增强了手部姿态与背景之间的区分度？
• RQ4 在客观与主观图像质量度量方面，所提方法的相对性能如何？
• RQ5 该方法能否有效应用于面向福利应用的实时手语识别系统？

主要发现

• 在分割前采用基于拓扑导数的修复方法，显著提升了手部姿态的正确检测率。
• 离散形式的拓扑导数在手部姿态与背景之间表现出高区分度，实现了更清晰的分割效果。
• 各向同性滤波与拓扑导数处理相结合，显著提升了图像质量与分割准确率。
• 主观与客观的图像质量评估均证实，所提方法在性能上优于基线分割方法。
• 该方法在集成至自动化手语识别系统以支持辅助技术方面展现出强大潜力。
• 该方法在复杂或噪声较多的视觉环境中表现出更优的识别性能。