[논문 리뷰] Continual Learning of Hand Gestures for Human-Robot Interaction

Xavier Cucurull, Anaís Garrell|arXiv (Cornell University)|2023. 04. 13.

Hand Gesture Recognition Systems인용 수 4

한 줄 요약

이 논문은 단일 RGB 카메라와 MediaPipe에서 추출한 손 랜드마크를 사용하여 정적 손짓을 점진적으로 인식하기 위한 지속적 학습 프레임워크인 HAGIL을 제안한다. 38개의 손짓을 학습한 후 평균 정확도가 90% 이상을 기록하며, 클래스당 단지 5개의 예시만을 사용하고, 점진적 학습 시간을 전체 재학습 시간의 10% 미만으로 줄였으며, iCaRL과 같은 효과적인 재생 전략을 통해 치명적 기억 상실을 완화한다.

ABSTRACT

In this paper, we present an efficient method to incrementally learn to classify static hand gestures. This method allows users to teach a robot to recognize new symbols in an incremental manner. Contrary to other works which use special sensors or external devices such as color or data gloves, our proposed approach makes use of a single RGB camera to perform static hand gesture recognition from 2D images. Furthermore, our system is able to incrementally learn up to 38 new symbols using only 5 samples for each old class, achieving a final average accuracy of over 90\%. In addition to that, the incremental training time can be reduced to a 10\% of the time required when using all data available.

연구 동기 및 목표

• 로봇이 이전에 학습한 손짓을 잊지 않고 새로운 정적 손짓을 점진적으로 학습할 수 있도록 하기.
• 실시간 손짓 인식을 위한 인간-로봇 상호작용 환경에서 구현 가능한 저비용, 센서 없는 솔루션을 개발하기.
• 제한된 클래스당 데이터에서 지속적 학습 전략의 효과를 실용적인 로봇 응용 분야에서 평가하기.
• 지속적 손짓 학습을 위한 새로운 벤치마크 데이터셋을 제안하기 위해 4명의 피험자가 수행한 21개의 손짓을 포함한다.
• 높은 정확도를 유지하면서도 계산 비용과 메모리 사용량을 최소화하는 점진적 학습 환경에서의 성능을 확보하기.

제안 방법

• 시스템은 RGB 이미지에서 21개의 키포인트 좌표를 추출하기 위해 가벼운 손 랜드마크 검출기인 MediaPipe를 사용한다.
• 손 랜드마크는 신경망 분류기의 입력으로 사용 가능한 고정 길이의 특징 벡터로 인코딩된다.
• 수정된 FACIL 프레임워크가 iCaRL과 IL2M와 같은 점진적 학습 전략을 통합하여 지속적 학습을 지원한다.
• iCaRL 방법은 가장 가까운 예시 평균 분류기와 작은 메모리(클래스당 5개의 예시)를 활용한 특징 재생 메커니즘을 사용한다.
• 과거 클래스의 예시를 담은 재생 메모리를 사용하여 모델을 점진적으로 학습함으로써 치명적 기억 상실을 최소화한다.
• 학습 시간을 크게 줄이기 위해 새로운 클래스와 일부 오래된 클래스의 예시에 대해서만 미세조정(fine-tuning)을 수행한다.

Figure 1 : The proposed approach is used to teach a robot to incrementally recognize new hand gestures.

실험 결과

연구 질문

• RQ1 로봇은 이전에 학습한 손짓을 잊지 않고 RGB 이미지에서 점진적으로 새로운 정적 손짓을 학습할 수 있는가?
• RQ2 클래스당 5개의 예시만을 사용하는 소규모 재생 메모리는 손짓의 지속적 학습 중 높은 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 낮은 데이터 및 낮은 계산 자원 제약 조건에서 iCaRL과 IL2M 중 어떤 점진적 학습 전략이 더 우수한 성능을 보이는가?
• RQ4 단일 RGB 카메라에서 추출한 손 랜드마크를 사용하는 것이 다른 센서 기반 방법에 비해 정확도와 효율성 측면에서 어느 정도 우월한가?
• RQ5 제안된 시스템은 실세계의 인간-로봇 상호작용 환경에 배포 가능한 실시간 성능을 달성할 수 있는가?

주요 결과

• HAGIL은 클래스당 단지 5개의 예시만을 사용하여 38개의 서로 다른 손짓을 학습한 후 평균 정확도가 90% 이상을 기록했다.
• 점진적 학습 시간은 전체 재학습 시간의 10% 미만으로 줄었으며, HAGIL은 7.76초, Joint 기준선은 79.73초로 측정되었다.
• Kaggle ASL 알파벳 데이터셋에서 HAGIL은 첫 7개의 클래스를 학습한 후 높은 정확도로 안정화되었지만, Joint 기준선의 성능은 시간이 지남에 따라 악화되었다.
• iCaRL 전략은 특히 효율적인 가장 가까운 예시 평균 분류기 덕분에, 예시 수가 적은 환경에서 IL2M를 능가하는 성능을 보였다.
• 모델의 총 지연 시간은 추론당 37.5ms로, 약 26 FPS의 실시간 동작을 가능하게 하여 실세계 배포에 적합하다.
• 4명의 피험자가 수행한 21개의 손짓을 포함한 제안된 데이터셋은 손짓 인식 분야에서 지속적 학습을 위한 새로운 벤치마크를 제공한다.

Figure 2 : Overview of the proposed approach for hand gesture incremental learning. Given an input image (a), the proposed approach uses the MediPipe Hands pose detector (b) to extract the landmarks (c) of the hands present in the input. Next, the detected landmarks are encoded into a feature vector