[논문 리뷰] Temporal Lift Pooling for Continuous Sign Language Recognition

Lianyu Hu, Liqing Gao외 2명|arXiv (Cornell University)|2022. 07. 18.

Hand Gesture Recognition Systems인용 수 7

한 줄 요약

이 논문은 연속된 수어 인식(CSLR)에서 특징 표현을 향상시키기 위해 신호 처리 분야의 리프팅 스킴을 영감으로 삼아 학습 가능한 시간 다운샘플링 방법인 시간 리프팅 풀링(Temporal Lift Pooling, TLP)을 제안한다. TLP는 리프팅, 가중치 부여, 융합 단계를 거쳐 입력 시퀀스를 저주파수 및 고주파수 성분으로 분해하며, 수작업 풀링 및 최신 기법들보다 절대 성능을 1.5% 향상시키고 계산 비용은 최소한으로 유지한다.

ABSTRACT

Pooling methods are necessities for modern neural networks for increasing receptive fields and lowering down computational costs. However, commonly used hand-crafted pooling approaches, e.g., max pooling and average pooling, may not well preserve discriminative features. While many researchers have elaborately designed various pooling variants in spatial domain to handle these limitations with much progress, the temporal aspect is rarely visited where directly applying hand-crafted methods or these specialized spatial variants may not be optimal. In this paper, we derive temporal lift pooling (TLP) from the Lifting Scheme in signal processing to intelligently downsample features of different temporal hierarchies. The Lifting Scheme factorizes input signals into various sub-bands with different frequency, which can be viewed as different temporal movement patterns. Our TLP is a three-stage procedure, which performs signal decomposition, component weighting and information fusion to generate a refined downsized feature map. We select a typical temporal task with long sequences, i.e. continuous sign language recognition (CSLR), as our testbed to verify the effectiveness of TLP. Experiments on two large-scale datasets show TLP outperforms hand-crafted methods and specialized spatial variants by a large margin (1.5%) with similar computational overhead. As a robust feature extractor, TLP exhibits great generalizability upon multiple backbones on various datasets and achieves new state-of-the-art results on two large-scale CSLR datasets. Visualizations further demonstrate the mechanism of TLP in correcting gloss borders. Code is released.

연구 동기 및 목표

• 연속된 시퀀스 데이터에서 장기적인 시간적 특징을 유지하는 데에 한계가 있는 전통적인 수작업 풀링 방법(예: 최대/평균 풀링)의 문제를 해결하기 위해.
• 공간적 변형에 비해 자주 간과되는 풀링 기법에서의 미비한 시간 차원 탐색을 위해.
• 다양한 백본과 데이터셋에 걸쳐 일반화 가능한, 즉각 적용 가능한 시간 다운샘플링 모듈을 개발하여 특징 표현을 향상시키기 위해.
• 시간적 특징 계층을 정교화하여 연속된 수어 인식에서 어휘 경계 검출 및 정확도를 향상시키기 위해.

제안 방법

• TLP는 신호 처리 분야의 리프팅 스킴에서 유래되었으며, 입력 신호를 다양한 주파수 대역으로 분해하여 서로 다른 운동 패턴에 대응한다.
• 이 방법은 세 단계를 거친다: 예측 및 업데이트 단계를 통한 신호 분해, 학습 가능한 파rameter를 사용한 성분 가중치 부여, 정보 융합을 통한 정제된 다운사이징된 특징 맵 생성.
• 리프팅 과정은 입력 시퀀스를 저통과(부드러운 운동 패턴) 및 고통과(세부적인 역학) 성분으로 분리하여 계층적 특징 학습을 가능하게 한다.
• TLP는 경량 1x1 컨벌루션을 사용하여 구현되었으며, 추가로 0.4%의 계산 비용만 증가시켜 효율적이고 즉각 적용 가능한 모듈로 구현되었다.
• 백본에 종속되지 않는 아키텍처로 설계되어 다양한 컨볼루션 네트워크 기반 모델에 쉽게 통합될 수 있다.
• TLP는 백본의 두 개 풀링 레이어만 교체하여 두 개의 대규모 CSLR 벤치마크에서 평가되었다.

실험 결과

연구 질문

• RQ1 신호 처리에서 영감을 얻은 시간 풀링 메커니즘이 연속된 수어 인식에서 기존의 수작업 풀링보다 뛰어난 성능을 낼 수 있는가?
• RQ2 TLP는 운동 패턴에 대응하는 서로 다른 주파수 대역으로 시간 신호를 분해함으로써 특징 표현을 어떻게 향상시키는가?
• RQ3 장기 시퀀스 모델링 맥락에서 TLP는 다양한 신경망 백본과 데이터셋에 얼마나 일반화되는가?
• RQ4 TLP는 어휘 경계 검출을 향상시켜 연속된 수어 인식의 정확도 향상에 기여하는가?
• RQ5 TLP는 얼굴 또는 손 랜드마크와 같은 보조 입력에 의존하지 않고도 최고 성능을 달성할 수 있는가?

주요 결과

• PHOENIX14 데이터셋에서 TLP는 표준 최대 풀링 및 평균 풀링보다 단어 오류율(WER)에서 1.5%p 향상되었으며, PHOENIX14-T에서는 1.7%p 향상되었다.
• PHOENIX14 데이터셋에서 TLP는 개발 세트 기준 19.7%(dev), 테스트 세트 기준 20.8%(test)의 WER를 기록하여 기준 ResNet18보다 1.5%p 향상되었다.
• TLP는 ResNet18, SqueezeNet, RegNetY-800Mf 등 여러 백본에서 일관되게 성능 향상을 보였으며, 성능 향상 폭은 1.0%에서 1.7%까지 다양했다.
• TLP는 PHOENIX14 및 PHOENIX14-T 데이터셋에서 모두 새로운 최고 성능(SOTA)을 달성했으며, 얼굴 또는 손 특징와 같은 추가 정보를 사용하는 기존 방법들을 능가했다.
• 시각화 결과 TLP는 더 중심화되고 정확한 어휘 예측을 생성하는 것으로 확인되었으며, 특히 기준 모델 대비 잘못된 경계를 수정하는 데서 뚜렷한 성능 향상을 보였다.
• 이 방법은 잘 일반화되며, 백본의 성능에 비례하여 성능 향상이 발생한다—더 큰 모델일수록 TLP의 이점이 더 두드러지며, 강력한 특징 추출기와의 상호보완성이 뚜렷하다.