[논문 리뷰] A Topological derivative based image segmentation for sign language recognition system using isotropic filter

M. Krishnaveni, V. Radha|arXiv (Cornell University)|2010. 01. 12.

Hand Gesture Recognition Systems참고 문헌 9인용 수 4

한 줄 요약

이 논문은 听覚障害者를 위한 수어 인식 시스템의 정확도를 향상시키기 위해, 수어 영상에서 손 자세를 보다 정확하게 검출하기 위해 위상미분 기반 영상 분할 기법과 등방성 필터링을 결합한 방법을 제안한다. 분할 이전에 위상미분을 이용한 복원을 적용함으로써 배경과 손 자세를 더 잘 구분할 수 있도록 하여, 인식 성능을 크게 향상시킨다.

ABSTRACT

The need of sign language is increasing radically especially to hearing impaired community. Only few research groups try to automatically recognize sign language from video, colored gloves and etc. Their approach requires a valid segmentation of the data that is used for training and of the data that is used to be recognized. Recognition of a sign language image sequence is challenging because of the variety of hand shapes and hand motions. Here, this paper proposes to apply a combination of image segmentation with restoration using topological derivatives for achieving high recognition accuracy. Image quality measures are conceded here to differentiate the methods both subjectively as well as objectively. Experiments show that the additional use of the restoration before segmenting the postures significantly improves the correct rate of hand detection, and that the discrete derivatives yields a high rate of discrimination between different static hand postures as well as between hand postures and the scene background. Eventually, the research is to contribute to the implementation of automated sign language recognition system mainly established for the welfare purpose.

연구 동기 및 목표

• 청각장애인을 위한 수어 영상 시퀀스에서 정확한 손 자세 검출 문제를 해결하기 위해.
• 손 자세의 형태와 운동이 다양하게 변하는 복잡한 배경에서의 분할 품질을 향상시키기 위해.
• 분할 이전에 위상미분을 이용한 영상 복원을 통합하여 인식 정확도를 향상시키기 위해.
• 성능 비교를 위해 주관적 및 객관적 영상 품질 측정 기준을 평가하기 위해.
• 자동화되고 복지 중심의 수어 인식 시스템 개발에 기여하기 위해.

제안 방법

• 이 방법은 분할 이전에 영상 특징을 탐지하고 복원하기 위해 위상미분을 활용하여 손 영역 추출의 정밀도를 향상시킨다.
• 이미지의 노이즈를 줄이고 위상미분 계산의 효과를 높이기 위해 등방성 필터를 적용한다.
• 경계 적분 공식을 사용하여 도메인 변형(예: 구멍 삽입)에 최적의 위치를 식별함으로써 위상미분을 계산한다.
• 복원 이후에 분할을 수행하여 개선된 이미지를 활용해 손 자세를 배경에서 분리한다.
• 성능 비교를 위해 객관적(측정 지표 기반) 및 주관적(시각적 검토) 영상 품질 평가를 실시한다.
• 이 방법은 정적 수어 자세를 대상으로 평가되며, 손 자세와 배경 간의 구분 능력을 중점으로 한다.

실험 결과

연구 질문

• RQ1 위상미분 기반 복원은 수어 영상 시퀀스에서 분할 정확도를 향상시키는 데 효과적인가?
• RQ2 등방성 필터링은 다양한 조도 및 배경 조건에서 손 영역 검출의 강건성에 어떻게 기여하는가?
• RQ3 위상미분을 이용한 전처리가 손 자세와 배경 간의 구분 능력을 얼마나 향상시키는가?
• RQ4 객관적 및 주관적 영상 품질 측정 기준에서 제안된 방법의 비교 성능는 어떠한가?
• RQ5 이 방법은 복지 응용을 위한 실시간 수어 인식 시스템에 효과적으로 적용될 수 있는가?

주요 결과

• 분할 이전에 위상미분 기반 복원을 적용함으로써 손 자세의 정확한 검출률이 크게 향상된다.
• 이산적 위상미분은 손 자세와 배경 간의 높은 구분 능력을 제공하여 더 명확한 분할을 가능하게 한다.
• 등방성 필터링과 위상미분 처리의 조합은 영상 품질과 분할 정확도를 모두 향상시킨다.
• 주관적 및 객관적 영상 품질 평가 결과, 제안된 방법이 기준 분할 방법보다 뛰어난 성능을 보임을 확인하였다.
• 이 방법은 보조 기술을 위한 자동화된 수어 인식 시스템에 통합될 잠재력이 높다.
• 특히 복잡하거나 노이즈가 많은 시각 환경에서 인식 성능 향상이 두드러진다.