[論文レビュー] RGB Arabic Alphabets Sign Language Dataset

Muhammad Al-Barham, Adham Alsharkawi+5 more|arXiv (Cornell University)|Jan 30, 2023

Hand Gesture Recognition Systems被引用数 14

ひとこと要約

この論文は RGB Arabic Alphabet Sign Language (AASL) データセットを提示します。7,857 labeled RGB images of Arabic sign language alphabets, collected from 200+ participants and publicly released on Kaggle.

ABSTRACT

This paper introduces the RGB Arabic Alphabet Sign Language (AASL) dataset. AASL comprises 7,856 raw and fully labelled RGB images of the Arabic sign language alphabets, which to our best knowledge is the first publicly available RGB dataset. The dataset is aimed to help those interested in developing real-life Arabic sign language classification models. AASL was collected from more than 200 participants and with different settings such as lighting, background, image orientation, image size, and image resolution. Experts in the field supervised, validated and filtered the collected images to ensure a high-quality dataset. AASL is made available to the public on Kaggle.

研究の動機と目的

• 公開可能な RGB データセットとして、Arabic sign language alphabets を提供する。
• データセットの品質を専門家の検証とフィルタリングを通じて確保する。
• 照明、背景、向き、サイズ、解像度の多様性を捉え、堅牢なモデルを支える。
• 実生活の Arabic sign language classification システムの開発を支援する。

提案手法

• 専門家の監督のもと、静的 ArSL アルファベットのグラウンドトゥルース画像を収集。
• 参加者はアルファベットの5カテゴリにまたがるオンラインフォームを通じて画像を提出した。
• 画像は二名の研究者によって手作業でラベル付け・検証され、その後最終的に二重確認の検証が行われた。
• 検証後、AlphabetName_ID というシンプルなスクリプトを用いて自動的にラベル付けされた。
• データは 2022年3月から5ヶ月間にわたり、多様なカメラと条件でデータを収集。

Figure 1: Sample from the dataset.

実験結果

リサーチクエスチョン

• RQ1 RGB AASL dataset のサイズと構造はどのくらいで、取得条件はどれほど多様ですか？
• RQ2 Arabic sign language alphabets classification models のトレーニングと評価に本データセットは適していますか？
• RQ3 提出された画像全体のグラウンドトゥルースラベルの信頼性と検証状況はどの程度ですか？

主な発見

• The RGB AASL dataset contains 7,857 labeled images of Arabic sign language alphabets.
• Images were collected from more than 200 participants using various cameras and settings.
• The dataset is organized into 31 folders, each representing an alphabet (alphabet-specific images vary per letter).
• Experts supervised, validated, and filtered images to ensure high quality before final labeling.
• The dataset is publicly available on Kaggle under CC BY-NC-SA 4.0 and is described as the first RGB high-resolution publicly available Arabic sign language dataset.

Figure 2: Geem ArSL alphabet.