[논문 리뷰] Transferring Cross-domain Knowledge for Video Sign Language Recognition

Dongxu Li, Xin Yu외 3명|arXiv (Cornell University)|2020. 03. 08.

Hand Gesture Recognition Systems참고 문헌 38인용 수 19

한 줄 요약

이 논문은 약한 레이블이 부여된 자막이 달린 서사형 수어 뉴스 영상 자료를 활용하여 단어 수준 수어 인식(WSLR) 성능을 향상시키는 교차 도메인 지식 전이 방법을 제안한다. 공동 분류기 학습을 통해 고해상도로 분리된 수어와 뉴스 수어 도메인을 정렬하고, 원형 메모리(prototypical memory)를 사용하여 도메인 불변 특징을 학습함으로써 특징 표현을 향상시키고, WLASL에서 12%의 정확도 향상과 자동 수어 위치 추적에서 28.1 AP@0.5를 달성하여 최신 기술 수준을 확보한다.

ABSTRACT

Word-level sign language recognition (WSLR) is a fundamental task in sign language interpretation. It requires models to recognize isolated sign words from videos. However, annotating WSLR data needs expert knowledge, thus limiting WSLR dataset acquisition. On the contrary, there are abundant subtitled sign news videos on the internet. Since these videos have no word-level annotation and exhibit a large domain gap from isolated signs, they cannot be directly used for training WSLR models. We observe that despite the existence of a large domain gap, isolated and news signs share the same visual concepts, such as hand gestures and body movements. Motivated by this observation, we propose a novel method that learns domain-invariant visual concepts and fertilizes WSLR models by transferring knowledge of subtitled news sign to them. To this end, we extract news signs using a base WSLR model, and then design a classifier jointly trained on news and isolated signs to coarsely align these two domain features. In order to learn domain-invariant features within each class and suppress domain-specific features, our method further resorts to an external memory to store the class centroids of the aligned news signs. We then design a temporal attention based on the learnt descriptor to improve recognition performance. Experimental results on standard WSLR datasets show that our method outperforms previous state-of-the-art methods significantly. We also demonstrate the effectiveness of our method on automatically localizing signs from sign news, achieving 28.1 for AP@0.5.

연구 동기 및 목표

• 전문가 레이블링 비용으로 인해 모델 성능이 제한되는 단어 수준 수어 인식(WSLR) 데이터셋의 부족 문제를 해결하기 위해.
• 도메인 갭과 노이즈가 많은 레이블로 인해 활용이 부족한 풍부한 양의 약한 레이블이 부여된 자막이 달린 수어 뉴스 영상 자료를 활용하기 위해.
• 뉴스 수어 영상에서의 지식을 고립된 수어 인식 모델로 전이하여 WSLR 인식 정확도를 향상시키기 위해.
• 약한 지도 학습을 통해 문장 내 수어 단어의 자동 시간적 위치 추적을 가능하게 하기 위해.

제안 방법

• 슬라이딩 윈도우 추론을 통해 기초 WSLR 모델이 뉴스 영상에서 수어 단어를 추출한다.
• 고립된 수어와 뉴스 수어 특징 양측에 대해 공동 분류기를 학습시켜 임베딩 공간에서 두 도메인을 근사적으로 정렬한다.
• 근사적으로 정렬된 뉴스 수어 특징의 클래스 중심점(centroids)을 저장하는 원형 메모리(prototypical memory)를 사용하여 도메인 불변 특징을 학습한다.
• 각 고립된 수어에 대해 메모리 프로토타입과의 상관관계를 계산하고, 유사한 특징을 조합하여 도메인 불변 특징을 형성한다.
• 메모리 증강 시간적 주의 모듈은 클래스별 시각적 특징을 강조하면서도 클래스 간 공통적인 제스처를 억제한다.
• 최종 모델은 개선된 특징을 사용하여 분류 성능을 향상시키고, 교차 엔트로피 손실을 통해 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 도메인 갭이 존재함에도 불구하고 웹에서 이용 가능한 약한 레이블이 부여된 수어 뉴스 영상 자료를 효과적으로 활용하여 WSLR 성능을 향상시킬 수 있는가?
• RQ2 시각적 개념은 공유하지만 제스처 속도와 레이블 품질이 다른 고립된 수어와 뉴스 수어에서 도메인 불변 특징을 어떻게 학습할 수 있는가?
• RQ3 원형 메모리를 통해 뉴스 수어 프로토타입의 지식을 통합함으로써 인식 정확도와 위치 추적 성능이 향상되는가?
• RQ4 강한 레이블이 필요 없이도 제안된 방법이 표준 WSLR 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 WLASL 데이터셋에서 최신 기술 수준의 방법 대비 상대적으로 12%의 정확도 향상을 달성한다.
• MSASL 데이터셋에서 이전 최신 기술 수준의 모델 대비 정확도가 6% 향상된다.
• 문장 내 자동 수어 단어 위치 추적에서 28.1 mAP@0.5를 달성하여 약한 지도 학습 기반 시간적 위치 추적 성능이 뛰어나다는 것을 입증한다.
• 절단 실험을 통해 근사적 도메인 정렬과 원형 메모리 내 뉴스 수어 프로토타입 사용이 성능 향상에 필수적임을 확인한다.
• 고립된 수어 프로토타입만 사용하거나 두 도메인의 특징을 평균화하는 경우, 최적의 클러스터링이 이루어지지 않으며 노이즈가 많은 중심점으로 인해 성능 저하가 발생한다.