[논문 리뷰] Towards the extraction of robust sign embeddings for low resource sign language recognition

Mathieu De Coster, Ellen Rushe외 3명|arXiv (Cornell University)|2023. 06. 30.

Hand Gesture Recognition Systems인용 수 5

한 줄 요약

이 논문은 낮은 자원 환경에서의 수어 인식을 위해 견고한 키포인트 기반 수어 임베딩 파이프라인을 제안한다. 자세 정규화, 누락 키포인트 보정, 그리고 학습 가능한 자세 임베딩(SignPose2Vec)을 통해 다양한 수어 간 효과적인 전이 학습을 가능하게 한다. 경쟁적인 성능을 달성하며, 특히 분류기 레이어만 미세조정할 경우 이미지 기반 모델을 능가하고, 정확도 손실을 최소화하면서 多국어 학습을 가능하게 한다.

ABSTRACT

Isolated Sign Language Recognition (SLR) has mostly been applied on datasets containing signs executed slowly and clearly by a limited group of signers. In real-world scenarios, however, we are met with challenging visual conditions, coarticulated signing, small datasets, and the need for signer independent models. To tackle this difficult problem, we require a robust feature extractor to process the sign language videos. One could expect human pose estimators to be ideal candidates. However, due to a domain mismatch with their training sets and challenging poses in sign language, they lack robustness on sign language data and image-based models often still outperform keypoint-based models. Furthermore, whereas the common practice of transfer learning with image-based models yields even higher accuracy, keypoint-based models are typically trained from scratch on every SLR dataset. These factors limit their usefulness for SLR. From the existing literature, it is also not clear which, if any, pose estimator performs best for SLR. We compare the three most popular pose estimators for SLR: OpenPose, MMPose and MediaPipe. We show that through keypoint normalization, missing keypoint imputation, and learning a pose embedding, we can obtain significantly better results and enable transfer learning. We show that keypoint-based embeddings contain cross-lingual features: they can transfer between sign languages and achieve competitive performance even when fine-tuning only the classifier layer of an SLR model on a target sign language. We furthermore achieve better performance using fine-tuned transferred embeddings than models trained only on the target sign language. The embeddings can also be learned in a multilingual fashion. The application of these embeddings could prove particularly useful for low resource sign languages in the future.

연구 동기 및 목표

• 다양한 서밍 스타일, 조명 조건, 서머 변동성 등 실제 환경에서의 낮은 자원 수어 인식 문제를 해결하기 위해.
• 기존의 키포인트 기반 모델은 자세 추정 오류와 열악한 키포인트 표현으로 인해 이미지 기반 모델에 비해 성능이 열등한 점을 극복하기 위해.
• 이전에는 이미지 기반 모델에 국한되었던 키포인트 기반 SLR 모델의 전이 학습을 가능하게 하기 위해.
• 다른 수어 간 공유된 자세 임베딩을 사용하여 다국어 수어 모델링을 탐색하기 위해.
• 특히 낮은 자원 환경에서 최소한의 미세조정으로도 키포인트 기반 모델이 경쟁적인 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 수어 영상 데이터에서 널리 사용되는 세 가지 자세 추정기인 OpenPose, MMPose, MediaPipe를 평가하여 가장 견고한 기반 모델을 선정한다.
• 신체 형태와 카메라 시점의 변동성을 줄이기 위해 키포인트 정규화를 적용한다.
• 신뢰할 수 없는 예측을 처리하기 위해 시간적 및 공간적 보간을 사용하여 누락된 키포인트를 보정한다.
• 정규화 및 보정된 키포인트 시퀀스로부터 분류 가능한 수어 표현을 학습하는 비선형 자세 임베딩 레이어인 SignPose2Vec을 도입한다.
• 데이터셋과 수어 간 자세 임베딩을 훈련하고 전이하여, 제로샷 및 피처샷 전이 학습을 가능하게 한다.
• 언어 조건부 임베딩을 사용하여 다국어 훈련 전략을 적용하여 다양한 수어 간 표현을 공동으로 학습한다.

Figure 1: The class distribution of the entire VGT dataset shows a large class imbalance.

실험 결과

연구 질문

• RQ1 OpenPose, MMPose, MediaPipe 중에서 낮은 자원 환경에서 수어 인식에 가장 견고한 자세 추정기는 무엇인가?
• RQ2 개선된 사전 처리 및 표현 학습을 통해 키포인트 기반 모델이 이미지 기반 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 특히 분류기 레이어만 미세조정할 경우, 키포인트 기반 SLR 모델에 전이 학습을 얼마나 효과적으로 적용할 수 있는가?
• RQ4 다른 수어 간 자세 임베딩의 교차 언어 전이가 성능 저하를 최소화하면서 달성 가능한가?
• RQ5 공유된 임베딩을 사용해 훈련된 다국어 SLR 모델이 단일 언어 모델을 능가할 수 있는가, 아니면 최적의 성능을 위해 여전히 미세조정이 필요한가?

주요 결과

• MediaPipe는 속도와 견고성 측면에서 OpenPose와 MMPose를 능가하지만, 약 10%의 프레임에서 손 키포인트를 놓치는 경향이 있다.
• 키포인트 정규화와 누락 값 보정이 다운스트림 SLR 정확도를 크게 향상시켜, 이전의 이미지 기반 모델 성능을 뛰어넘는 키포인트 기반 모델의 성능 향상을 가능하게 한다.
• SignPose2Vec 자세 임베딩을 사용한 전이 학습은 목표 데이터셋에서 미세조정을 전혀 하지 않은 경우조차도, 초기 훈련보다 더 높은 정확도를 달성한다.
• 자세 임베딩의 교차 언어 전이에서는 미세조정 없이도 경쟁 가능한 결과를 얻었으며, 정확도 저하가 최소 수준이었다 (예: 조건부 다국어 모델에서 VGT에서 1.37% 향상).
• 조건부 다국어 모델은 미세조정 시 단일 언어 모델을 능가했으며, VGT에서 +1.37% 정확도 향상과 NGT에서 +0.19% 향상 달성하면서 훈련 복잡도를 감소시켰다.
• 분류기 레이어의 미세조정 이후 전체 네트워크를 추가로 미세조정하면 최고의 성능을 기록했으며, VTN 모델은 VGT에서 46.78%의 정확도를 달성하여 VGT 전용으로 훈련된 모델의 48.15%에 근접했다.

Figure 2: For cases such as these (the right hand is missing in the second frame but present in the first and third), linear interpolation can impute missing keypoints.