[논문 리뷰] Continuous Sign Language Recognition with Correlation Network

Lianyu Hu, Liqing Gao외 2명|arXiv (Cornell University)|2023. 03. 06.

Hand Gesture Recognition Systems인용 수 7

한 줄 요약

이 논문은 연속된 비디오 프레임 간의 동적 상관도 맵을 활용하여 크로스-프레임 신체 궤적을 명시적으로 포착하는 새로운 상관망인 CorrNet을 제안한다. 수동적인 손 및 얼굴 운동 패턴을 식별하는 상관도 모듈과 주목할 만한 신체 영역을 강조하는 식별 모듈을 활용함으로써, 추가적인 감독 신호나 자세 추정 없이도 네 가지 주요 데이터셋에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

Human body trajectories are a salient cue to identify actions in the video. Such body trajectories are mainly conveyed by hands and face across consecutive frames in sign language. However, current methods in continuous sign language recognition (CSLR) usually process frames independently, thus failing to capture cross-frame trajectories to effectively identify a sign. To handle this limitation, we propose correlation network (CorrNet) to explicitly capture and leverage body trajectories across frames to identify signs. In specific, a correlation module is first proposed to dynamically compute correlation maps between the current frame and adjacent frames to identify trajectories of all spatial patches. An identification module is then presented to dynamically emphasize the body trajectories within these correlation maps. As a result, the generated features are able to gain an overview of local temporal movements to identify a sign. Thanks to its special attention on body trajectories, CorrNet achieves new state-of-the-art accuracy on four large-scale datasets, i.e., PHOENIX14, PHOENIX14-T, CSL-Daily, and CSL. A comprehensive comparison with previous spatial-temporal reasoning methods verifies the effectiveness of CorrNet. Visualizations demonstrate the effects of CorrNet on emphasizing human body trajectories across adjacent frames.

연구 동기 및 목표

• 기존 연속된 수기 언어 인식(CSLR) 방법들이 각 프레임을 독립적으로 처리하여 의미 있는 크로스-프레임 신체 궤적을 포착하지 못하는 한계를 해결하기 위해.
• 연속된 프레임 간에 손과 얼굴 기능의 시간적 운동 패턴을 명시적으로 모델링하기 위해.
• 추가 감독 신호(예: 관절점 레이블 또는 히트맵)에 의존하지 않고도 유의미한 신체 영역을 동적으로 강조할 수 있는 경량이며 종단 간(end-to-end) 학습 가능한 프레임워크를 개발하기 위해.
• 상관 기반 특징 학습을 통해 국소적 시간적 운동에 집중함으로써 인식 정확도를 향상시키기 위해.
• 다양한 데이터셋, 특히 대용량 어휘와 실제 환경 시나리오를 포함한 일반화 능력을 입증하기 위해.

제안 방법

• 현재 프레임과 그 이웃인 왼쪽 및 오른쪽 프레임 간의 동적 상관도 맵을 계산하는 상관도 모듈을 제안하여 공간 패치의 궤적을 식별한다.
• 상관도 모듈 내부에 학습 가능한 어텐션 메커니즘을 도입하여 손과 얼굴과 같은 정보성 영역을 프레임 간에 집중적으로 분석한다.
• 상관도 맵 내에서 신체 궤적을 동적으로 강조하는 식별 모듈을 도입하여 손과 얼굴 표정과 같은 운동 관련 영역을 강조한다.
• 자세 추정이나 히트맵과 같은 비용이 많이 드는 감독 신호를 피하는 경량이며 종단 간 학습 전략을 활용한다.
• ResNet18 백본 내에서 상관도 모듈과 식별 모듈을 통합하여 시간적 맥락을 유지하면서도 각 프레임의 특징을 추출한다.
• 약한 감독 기반의 CSLR에서 시퀀스 수준의 정렬을 위해 표준 CTC 손실을 활용하여 종단 간 학습을 가능하게 한다.

Figure 1 : Visualization of correlation maps with Grad-CAM [ 40 ] . It’s observed that without extra supervision, our method could well attend to informative regions in adjacent left/right frames to identify human body trajectories.

실험 결과

연구 질문

• RQ1 크로스-프레임 신체 궤적을 모델링하면 연속된 수기 언어 인식의 정확도 향상에 기여할 수 있는가?
• RQ2 추가 감독 없이도 상관 기반 메커니즘이 손과 얼굴 기능의 국소적 시간적 운동 패턴을 효과적으로 포착할 수 있는가?
• RQ3 외부 모델을 통해 추출한 손 또는 얼굴 특징을 사용하는 최신 기준 방법들과 비교할 때 제안된 CorrNet은 어떻게 성능을 내는가?
• RQ4 식별 모듈 내의 동적 어텐션 메커니즘이 손과 얼굴과 같은 운동 관련 신체 부위를 성공적으로 강조하는가?
• RQ5 다양한 어휘 크기와 실제 환경 콘텐츠를 가진 다양한 데이터셋 간에 일반화 성능이 우수한가?

주요 결과

• PHOENIX14 개발 세트에서 CorrNet은 새로운 최신 기준(WER) 18.8%를 기록했으며, 테스트 세트에선 19.4%를 달성하여 이전 방법들, 특히 손과 얼굴 특징을 사용한 방법들보다 뛰어난 성능을 보였다.
• 대용량 어휘를 가진 CSL-Daily 데이터셋에서 CorrNet은 WER 30.1%를 기록하여 이전 최신 기준 방법들보다 뚜렷이 뛰어난 성능을 보이며 강력한 일반화 능력을 입증했다.
• 기존의 잘 알려진 CSL 데이터셋에서 CorrNet은 최신 기준 WER 0.8%를 달성하여 이전 최고 성능 방법(C²SLR)보다 0.1%포인트 높은 성능을 보였다.
• Grad-CAM를 활용한 시각화 결과, 상관도 모듈이 이웃 프레임 간에 움직이는 신체 부위인 손과 얼굴을 동적으로 주목하고 있음을 확인했다.
• 식별 모듈은 손과 얼굴과 같은 주목할 만한 영역을 효과적으로 강조하며, 관련 없는 배경 영역은 억제하고 있었다.
• 자세 추정이나 히트맵과 같은 추가 감독 신호 없이도 CorrNet은 이러한 방법들을 능가하는 성능을 보이며 효율성과 효과성을 입증했다.

Figure 2 : An overview for our CorrNet. It first employs a feature extractor (2D CNN) to capture frame-wise features, and then adopts a 1D CNN and a BiLSTM to perform short-term and long-term temporal modeling, respectively, followed by a classifier to predict sentences. We place our proposed identi