[논문 리뷰] American Sign Language Alphabet Recognition using Deep Learning

Nikhil Kasukurthi, Brij Rokad외 2명|arXiv (Cornell University)|2019. 05. 14.

Hand Gesture Recognition Systems참고 문헌 12인용 수 15

한 줄 요약

이 논문은 단일 RGB 이미지에서 미국 수어(ASL) 알파벳 문자를 인식하기 위한 경량 딥러닝 모델을 제안한다. SqueezeNet 기반으로 개발되었으며, 정확도는 83.29%를 달성하였다. 이 방법은 사전 처리된 RGB 이미지를 사용하며, 모바일 장치에 최적화되어 있어, 고비용의 3D 깊이 센서가 필요 없이 실시간 수어 인식을 위한 실용적인 솔루션을 제공한다.

ABSTRACT

Tremendous headway has been made in the field of 3D hand pose estimation but the 3D depth cameras are usually inaccessible. We propose a model to recognize American Sign Language alphabet from RGB images. Images for the training were resized and pre-processed before training the Deep Neural Network. The model was trained on a squeezenet architecture to make it capable of running on mobile devices with an accuracy of 83.29%.

연구 동기 및 목표

• 표준 RGB 이미지에서 ASL 알파벳 문자를 인식하기 위한 경량 딥러닝 모델을 개발하는 것.
• 종종 실용적이지 않거나 접근이 어려운 3D 깊이 카메라의 한계를 극복하는 것.
• 오직 RGB 입력만을 사용하여 실시간으로 모바일 호환 가능한 수어 인식을 가능하게 하는 것.
• 엣지 디바이스에 배포하기 위해 낮은 계산 비용을 유지하면서도 높은 정확도를 달성하는 것.
• 수어 인식 분야에서 보조 기술의 실용적이고 접근 가능한 솔루션을 제공하는 것.

제안 방법

• 저자들은 모델 복잡도를 줄이고 추론 속도를 향상시키기 위해 사전 훈련된 SqueezeNet 아키텍처를 사용한다.
• 입력 RGB 이미지는 크기 조정 및 사전 처리되어 차원을 표준화하고 특징 추출을 향상시킨다.
• 전이 학습 기법을 사용하여 맞춤형 ASL 알파벳 이미지 데이터셋으로 모델을 미세 조정한다.
• 최종 레이어에 소프트맥스 분류기를 적용하여 26개의 ASL 문자 중 하나를 예측한다.
• 모델 압축과 파rameter 효율성을 통해 모바일 장치에 최적화된 네트워크를 구현한다.
• 표준 교차 엔트로피 손실과 확률적 경사 하강법을 사용하여 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 경량 딥러닝 모델이 오직 RGB 이미지만을 사용하여 ASL 알파벳 문자 인식에서 높은 정확도를 달성할 수 있는가?
• RQ2 이 작업에서 SqueezeNet 기반 모델의 성능는 다른 아키텍처와 비교해 어떻게 되는가?
• RQ3 RGB 이미지로 훈련된 모델이 ASL 인식에서 3D 깊이 센서의 필요성을 얼마나 대체할 수 있는가?
• RQ4 모바일 장치에 배포할 때 정확도와 계산 효율성 사이의 상충 관계는 어떠한가?
• RQ5 사전 처리와 전이 학습이 제한된 데이터셋에서 인식 성능을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 모델는 오직 RGB 이미지만을 사용하여 ASL 알파벳 인식 작업에서 83.29%의 정확도를 달성하였다.
• SqueezeNet 기반 아키텍처는 효율적인 추론을 가능하게 하여 모바일 장치에 배포하기에 적합하다.
• 높은 정확도를 달성할 수 있음에도 불구하고 3D 깊이 데이터가 필요 없어 하드웨어 요구 사항을 줄였다.
• 입력 이미지의 사전 처리가 특징 학습 향상과 모델 일반화에 기여한다.
• 전이 학습 및 미세 조정을 통한 활용이 제한된 ASL 데이터셋에서의 성능 향상에 기여한다.
• 작은 파라미터 수를 유지하여 계산 비용이 낮아 실시간 추론이 엣지 디바이스에서 가능하다.