[논문 리뷰] A Sign Language Recognition System with Pepper, Lightweight-Transformer, and LLM

JongYoon Lim, Inkyu Sa외 2명|arXiv (Cornell University)|2023. 09. 28.

Hand Gesture Recognition Systems인용 수 5

한 줄 요약

이 논문은 페퍼 로봇, NVIDIA 재즈슨 모듈에 구동되는 경량 트랜스포머 기반 모델, 그리고 컨텍스트 기반 제스처와 대화 생성을 위한 최적화된 대규모 언어 모델(LLM, ChatGPT)을 사용하여 실시간 미국 수어(ASL) 인식 시스템을 제안한다. 이 시스템은 임베디드 하드웨어에서 79.8%의 ASL 인식 정확도를 달성하며, 통합된 제스처 인식과 LLM 기반 공생 제스처를 통해 자연스럽고 다중모달의 인간-로봇 상호작용을 가능하게 한다.

ABSTRACT

This research explores using lightweight deep neural network architectures to enable the humanoid robot Pepper to understand American Sign Language (ASL) and facilitate non-verbal human-robot interaction. First, we introduce a lightweight and efficient model for ASL understanding optimized for embedded systems, ensuring rapid sign recognition while conserving computational resources. Building upon this, we employ large language models (LLMs) for intelligent robot interactions. Through intricate prompt engineering, we tailor interactions to allow the Pepper Robot to generate natural Co-Speech Gesture responses, laying the foundation for more organic and intuitive humanoid-robot dialogues. Finally, we present an integrated software pipeline, embodying advancements in a socially aware AI interaction model. Leveraging the Pepper Robot's capabilities, we demonstrate the practicality and effectiveness of our approach in real-world scenarios. The results highlight a profound potential for enhancing human-robot interaction through non-verbal interactions, bridging communication gaps, and making technology more accessible and understandable.

연구 동기 및 목표

• 자원 효율적인 AI 모델을 사용하여 페퍼 인간형 로봇이 자원 제약이 있는 환경에서 실시간으로 미국 수어(ASL)를 이해할 수 있도록 하는 것.
• NVIDIA 재즈슨 모듈과 같은 저전력 임베디드 시스템에 계산량이 많고 복잡한 수어 인식 모델을 구현하는 데 도전하는 것.
• 대규모 언어 모델(LLM)을 활용하여 맥락에 맞는 공생 제스처와 대화를 생성함으로써 인간-로봇 상호작용을 향상시키는 것.
• 수어 인식과 LLM 기반 응답을 통합하여 사회적 인지 능력이 있는 다중모달 인간-로봇 상호작용을 위한 종단 간 엔드투엔드 파이프라인을 개발하는 것.
• 수어와 자연스러운 제스처를 통해 의사소통할 수 있도록 청각장애인 및 听력장애가 있는 개인의 접근성을 향상시키는 것.

제안 방법

• NVIDIA 재즈슨 모듈에 배포하기 위해 훈련 및 양자화된 경량 딥 네ural 네트워크(DNN) 모델을 사용하여 실시간 ASL 인식을 가능하게 하는 트랜스포머 아키텍처 기반의 모델을 개발한다.
• 페퍼의 카메라에서 촬영한 영상 입력에서 2D 및 3D 신체 지점(손, 얼굴, 자세)을 추출하기 위해 MediaPipe 토탈을 사용한다.
• 추출된 지점들은 실시간으로 ASL 제스처를 분류하기 위해 경량 DNN 모델에 입력된다.
• 페퍼 로봇(Python 2)과 재즈슨 모듈(Python 3) 간의 양방향 데이터 교환을 가능하게 하기 위해 소켓 기반의 TCP/IP 네트워크 통신 프rotocol를 사용한다.
• 프롬프트 엔지니어링을 적용한 LLM(ChatGPT)이 인식된 제스처를 바탕으로 맥락에 맞는 대화와 관련된 공생 제스처를 생성하여 자연스러운 상호작용을 가능하게 한다.
• 모든 단계—지점 추출, 제스처 인식, LLM 추론, 로봇 제스처 실행—이 동기화된 실시간 시스템으로 통합되어 있다.

Figure 1: System Overview: frames capturing signs from Pepper are conveyed to the Jetson module, where landmarks are extracted and relayed to the ASL Recognition model. Subsequently, Co-Speech Gesture outputs are derived from ChatGPT and transmitted back to Pepper, enabling the execution of correspo

실험 결과

연구 질문

• RQ1 경량 트랜스포머 기반 모델이 NVIDIA 재즈슨과 같은 임베디드 하드웨어에서 효율적으로 작동하면서도 높은 ASL 인식 정확도를 달성할 수 있는가?
• RQ2 대규모 언어 모델(LLM)이 수어 상호작용에 적합한 맥락 기반의 다중모달 응답(음성 및 제스처)을 얼마나 효과적으로 생성할 수 있는가?
• RQ3 수어 인식과 LLM 기반 응답을 통합한 실시간 종단 간 엔드투엔드 시스템이 얼마나 자연스럽고 사회적으로 인지 가능한 인간-로봇 상호작용을 가능하게 하는가?
• RQ4 수어 인식에 있어 랜드마크 검출 도구(예: MediaPipe)의 깊이 예측 및 시간적 동역학을 포괄하는 데에 어떤 한계가 있는가?
• RQ5 저지연, 자원 제약이 있는 로봇 플랫폼에서 다중모달 AI 구성 요소를 효과적으로 조율할 수 있는가?

주요 결과

• 경량 DNN 모델은 NVIDIA 재즈슨 모듈에서 79.8%의 ASL 인식 정확도를 달성하여 임베디드 시스템에 실시간 배포 가능성을 입증했다.
• MediaPipe 토탈은 손, 얼굴, 신체의 정확한 2D 랜드마크 검출을 제공했지만, 깊이 예측에 한계를 보여 3D 공간 이해에 영향을 미쳤다.
• LLM(ChatGPT)는 맥락에 맞는 대화와 다양한 공생 제스처를 성공적으로 생성하여 다중모달 상호작용 잠재력을 입증했다.
• 통합된 파이프라인은 지점 추출, 제스처 인식, LLM 추론, 로봇 제스처 실행 단계를 원활하게 통합하여 시스템의 일관성과 확장성을 확인했다.
• 경량 모델과 LLM을 조합함으로써 사회적 인지 능력이 있는 비음성 인간-로봇 상호작용을 현실 세계 환경에서 실현 가능함을 입증했다.
• 다소 유망한 결과를 보였지만, 깊이 추정 및 제스처 제작자의 다양성에 대한 강인성 문제 등 향후 개선이 필요한 영역이 남아 있다.

Figure 2: Extraction of Landmarks Using Mediapipe: The top row represents the sign for the word ’same’, the middle row depicts the sign for ’bad’, and the bottom row illustrates the sign for ’nuts’.