[논문 리뷰] RGB Arabic Alphabets Sign Language Dataset

Muhammad Al-Barham, Adham Alsharkawi외 5명|arXiv (Cornell University)|2023. 01. 30.

Hand Gesture Recognition Systems인용 수 14

한 줄 요약

이 논문은 RGB Arabic Alphabet Sign Language (AASL) 데이터셋으로, 7,857개의 라벨링된 RGB 이미지의 RGB Arabic Alphabet Sign Language (AASL) 데이터셋을 제시하며, 200명 이상의 참가자에게서 수집되었으며 Kaggle에서 공개적으로 공개되었습니다.

ABSTRACT

This paper introduces the RGB Arabic Alphabet Sign Language (AASL) dataset. AASL comprises 7,856 raw and fully labelled RGB images of the Arabic sign language alphabets, which to our best knowledge is the first publicly available RGB dataset. The dataset is aimed to help those interested in developing real-life Arabic sign language classification models. AASL was collected from more than 200 participants and with different settings such as lighting, background, image orientation, image size, and image resolution. Experts in the field supervised, validated and filtered the collected images to ensure a high-quality dataset. AASL is made available to the public on Kaggle.

연구 동기 및 목표

• 아랍 수화 문자 알파벳의 공개적으로 이용 가능한 RGB 데이터셋 제공.
• 전문가 검증 및 필터링을 통해 데이터셋 품질 보장.
• 조명, 배경, 방향, 크기, 해상도의 다양성을 포착하여 강건한 모델을 지원.
• 실생활 아랍 수화 분류 시스템의 개발 지원.

제안 방법

• 전문가 감독하에 정적 ArSL 알파벳의 ground-truth 이미지를 수집했다.
• 참가자들은 다섯 가지 알파벳 범주에 걸쳐 온라인 양식을 통해 이미지를 제출했다.
• 이미지는 두 연구자가 수동으로 라벨링하고 검증했으며, 마지막으로 이중 확인 검증이 이루어졌다.
• 검증 후 AlphabetName_ID로 간단한 스크립트로 자동 라벨링되었다.
• 데이터는 2022년 3월부터 5개월에 걸쳐 다양한 카메라와 조건으로 수집되었다.

Figure 1: Sample from the dataset.

실험 결과

연구 질문

• RQ1 RGB AASL 데이터셋의 크기와 구조는 어느 정도이며 캡처 조건의 다양성은 얼마나 되는가?
• RQ2 데이터셋이 아랍 수화 알파벳 분류 모델의 학습 및 평가에 적합한가?
• RQ3 제출된 이미지들에 대한 ground-truth 라벨의 신뢰성과 검증 수준은 어느 정도인가?

주요 결과

• The RGB AASL 데이터셋은 7,857개의 라벨링된 Arabic sign language alphabets 이미지를 포함한다.
• 이미지는 200명 이상 참가자로부터 다양한 카메라 및 설정으로 수집되었다.
• 데이터셋은 31개의 폴더로 구성되며 각 폴더는 하나의 알파벳을 나타내고(글자별 이미지가 글자에 따라 다름).
• 전문가들이 최종 라벨링 전 고품질을 보장하기 위해 이미지 감독, 검증 및 필터링을 수행했다.
• 데이터셋은 Kaggle에서 CC BY-NC-SA 4.0으로 공개 가능하며 최초의 RGB 고해상도 공개 Arabic sign language 데이터셋으로 기술된다.

Figure 2: Geem ArSL alphabet.