[논문 리뷰] Self-Emphasizing Network for Continuous Sign Language Recognition

Lianyu Hu, Liqing Gao외 2명|arXiv (Cornell University)|2022. 11. 30.

Hand Gesture Recognition Systems인용 수 11

한 줄 요약

이 논문은 손과 얼굴과 같은 분류에 유용한 공간적 특징 및 关련 키프레임과 같은 시간적 특징을 비용이 많이 들지 않고, 무거운 자세 추정 네트워크에 의존하지 않고도 적응적으로 강조하는 Self-Emphasizing Network (SEN)을 제안한다. 경량 하위 네트워크와 학습 가능한 주의 맵을 사용함으로써, SEN은 네 가지 대규모 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 최소한의 계산 오버헤드를 유발한다.

ABSTRACT

Hand and face play an important role in expressing sign language. Their features are usually especially leveraged to improve system performance. However, to effectively extract visual representations and capture trajectories for hands and face, previous methods always come at high computations with increased training complexity. They usually employ extra heavy pose-estimation networks to locate human body keypoints or rely on additional pre-extracted heatmaps for supervision. To relieve this problem, we propose a self-emphasizing network (SEN) to emphasize informative spatial regions in a self-motivated way, with few extra computations and without additional expensive supervision. Specifically, SEN first employs a lightweight subnetwork to incorporate local spatial-temporal features to identify informative regions, and then dynamically augment original features via attention maps. It's also observed that not all frames contribute equally to recognition. We present a temporal self-emphasizing module to adaptively emphasize those discriminative frames and suppress redundant ones. A comprehensive comparison with previous methods equipped with hand and face features demonstrates the superiority of our method, even though they always require huge computations and rely on expensive extra supervision. Remarkably, with few extra computations, SEN achieves new state-of-the-art accuracy on four large-scale datasets, PHOENIX14, PHOENIX14-T, CSL-Daily, and CSL. Visualizations verify the effects of SEN on emphasizing informative spatial and temporal features. Code is available at https://github.com/hulianyuyy/SEN_CSLR

연구 동기 및 목표

• 손과 얼굴 특징을 사용하는 기존 수어 인식 방법에서 높은 계산 비용과 높은 비용의 감독에 의존하는 문제를 해결하기 위해.
• 외부 감독 없이도 정보가 많은 공간 영역(손과 얼굴)과 분류에 기여하는 시간적 프레임에 대해 자동으로, 자율적으로 강조할 수 있도록 하기 위해.
• 모델 복잡성과 학습 오버헤드를 줄이며 연속된 수어 인식의 정확도를 향상시키기 위해.
• 외부 자세 추정 또는 사전 추출된 히트맵이 아닌, 엔드 투 엔드로 학습 가능한 주의 메커니즘을 통해 효과적인 특징 강조가 가능하다는 것을 입증하기 위해.

제안 방법

• SEN은 경량 하위 네트워크를 사용해 국소적인 공간-시간 특징을 추출하고, 입력 특징을 동적으로 강조하거나 억제하는 주의 맵을 생성한다.
• 공간적 자가강조 모듈은 학습 가능한 주의를 통해 손과 얼굴과 같은 핵심 영역을 식별함으로써, 추가 감독 없이도 관련 시각적 단서를 향상시킨다.
• 시간적 자가강조 모듈은 움직임이 큰 프레임에 더 높은 가중치를 부여하고, 정적 또는 중복된 프레임에는 낮은 가중치를 할당함으로써 적응적으로 작동한다.
• 표준 백본(예: ResNet18)을 사용하여 공간적 및 시간적 주의 모듈을 통합한 유일한, 엔드 투 엔드로 학습 가능한 프레임워크로 통합한다.
• 주의 맵은 지도 히트맵이나 관절점 애너테이션의 지도 없이 학습 과정에서 학습되므로, 자가감독 특징 강조가 가능하다.
• 아키텍처는 계산 효율성이 뛰어나, 외부 자세 추정 네트워크를 사용하는 방법에 비해 최소한의 파라미터와 FLOPs를 추가한다.

실험 결과

연구 질문

• RQ1 외부 감독에 의존하지 않고도 자가감독 주의 메커니즘이 수어 영상에서 정보가 많은 공간적 영역(손과 얼굴)을 효과적으로 강조할 수 있는가?
• RQ2 학습 가능한 시간적 주의 모듈이 분류에 기여하는 프레임에 집중하고 중복된 프레임을 억제함으로써 인식 성능을 향상시킬 수 있는가?
• RQ3 경량이며 엔드 투 엔드로 학습 가능한 네트워크가 무거운 자세 추정 네트워크나 사전 추출된 히트맵을 사용하는 기존 최신 기술 수준의 방법을 뛰어넘을 수 있는가?
• RQ4 제안된 자가강조 메커니즘이 다양한 대규모 연속 수어 데이터셋에 일반화되는가?

주요 결과

• SEN은 PHOENIX14에서 19.5%의 새로운 최신 기술 수준의 단어 오류율(WER)과 PHOENIX14-T에서 21.0%의 WER를 기록하여, 추가 감독이나 무거운 자세 추정 네트워크를 사용하는 방법들을 능가한다.
• 도전적인 CSL-Daily 데이터셋에서 SEN은 WER 30.7%를 기록하여 이전 방법들보다 뚜렷한 격차로 새로운 최신 기술 수준을 확립했다.
• CSL 데이터셋에서는 WER 0.8%를 기록하여, C2SLR가 보고한 이전 최신 기술 수준인 0.9%를 뛰어넘었다.
• 시각화 결과는 SEN이 손과 얼굴 영역을 효과적으로 강조하고, 동적인 움직임을 보이는 프레임에 집중함을 확인했으며, 의미 있는 주의 패턴을 학습할 수 있음을 보여준다.
• 사전 추출된 히트맵이나 전용 자세 추정 네트워크에 의존하지 않고도, 표준 영상 프레임만을 사용함으로써, SEN은 이러한 방법들을 뛰어넘는 성능을 달성했다.