[논문 리뷰] Constructing Stronger and Faster Baselines for Skeleton-based Action Recognition

Yifan Song, Zhang Zhang외 2명|arXiv (Cornell University)|2021. 06. 29.

Human Pose and Action Recognition인용 수 22

한 줄 요약

이 논문은 뼈대 기반 동작 인식을 위한 효율적이고 정확한 그래프 컬러리션 네트워크 베이스라인인 EfficientGCN-Bx를 제안한다. 관절, 운동, 뼈대 특징의 조기 융합, 분리 가능 컨벌루션의 통합, 복합 스케일링을 통해 EfficientGCN-B4는 MS-G3D보다 5.82배 작고 5.85배 빠르면서도 최신 기준 성능(NTU RGB+D 60 크로스서브젝트에서 92.1%)을 달성한다.

ABSTRACT

One essential problem in skeleton-based action recognition is how to extract discriminative features over all skeleton joints. However, the complexity of the recent State-Of-The-Art (SOTA) models for this task tends to be exceedingly sophisticated and over-parameterized. The low efficiency in model training and inference has increased the validation costs of model architectures in large-scale datasets. To address the above issue, recent advanced separable convolutional layers are embedded into an early fused Multiple Input Branches (MIB) network, constructing an efficient Graph Convolutional Network (GCN) baseline for skeleton-based action recognition. In addition, based on such the baseline, we design a compound scaling strategy to expand the model's width and depth synchronously, and eventually obtain a family of efficient GCN baselines with high accuracies and small amounts of trainable parameters, termed EfficientGCN-Bx, where "x" denotes the scaling coefficient. On two large-scale datasets, i.e., NTU RGB+D 60 and 120, the proposed EfficientGCN-B4 baseline outperforms other SOTA methods, e.g., achieving 91.7% accuracy on the cross-subject benchmark of NTU 60 dataset, while being 3.15x smaller and 3.21x faster than MS-G3D, which is one of the best SOTA methods. The source code in PyTorch version and the pretrained models are available at https://github.com/yfsong0709/EfficientGCNv1.

연구 동기 및 목표

• 최근 최고기준 모델들이 뼈대 기반 동작 인식에서 높은 계산 비용과 과도한 파rameter화 문제를 해결하기 위해.
• 중복된 파rameter와 계산을 최소화하여 성능을 훼손하지 않고 모델 복잡성을 감소시키기 위해.
• NTU RGB+D 60 및 120과 같은 대규모 데이터셋에서 높은 정확도를 유지하면서도 확장 가능하고 효율적인 베이스라인을 설계하기 위해.
• 사람 재식별과 같은 관련 작업에서 제안된 모델의 일반화 잠재력을 검증하기 위해.

제안 방법

• 다중 스트림 GCN 아키텍처에서의 중복을 줄이기 위해 네트워크의 초기 레이어에서 관절 위치, 운동 속도, 뼈대 특징을 조기 융합하는 다중 입력 브랜치(MIB) 아키텍처를 도입한다.
• 모델 크기를 압축하고 효율성을 향상시키기 위해 GCN에 적합하게 조정된 네 가지 새로운 시간 컨벌루션(TC) 레이어—보틀넥, 분리 가능, 확장된 분리 가능, 모래시계—를 활용한다.
• 모델의 너비와 깊이를 균일하게 스케일링하여 체계적인 효율-정확도 트레이드오���을 가능하게 하는 복합 스케일링 전략을 적용한다.
• 유의미한 관절과 시간 프레임을 적응적으로 강조하여 패added 또는 정보가 없는 프레임에서 오는 노이즈를 줄이는 공간-시간 관절 주의(ST-JointAtt) 모듈을 통합한다.
• 분리 가능 컨벌루션을 통합한 수정된 GCN 백본을 사용하여 FLOPs와 파rameter를 감소시키면서도 분류 능력을 유지한다.
• 체계적인 검색을 통해 최적의 융합 스테이지 검증을 수행하여, 파rameter 효율성 측면에서 조기 융합이 가장 효과적임을 확인한다.

실험 결과

연구 질문

• RQ1 뼈대 기반 동작 인식에서 다중 스트림 GCN 모델의 최적 융합 스테이지가 무엇이며, 이는 모델의 효율성과 정확성에 어떻게 영향을 미치는가?
• RQ2 분리 가능 및 보틀넥 스타일 컨벌루션은 GCN에 효과적으로 적용되어 모델 복잡성을 감소시키되 성능 손실 없이 활용될 수 있는가?
• RQ3 관절, 운동, 뼈대 특징의 조기 융합은 성능과 파rameter 효율성 측면에서 후기 융합에 비해 어떻게 비교되는가?
• RQ4 복합 스케일링 전략은 GCN 기반 뼈대 인식 모델의 효율-정확도 트레이드오프를 얼마나 향상시키는가?
• RQ5 제안된 EfficientGCN 베이스라인은 동작 인식을 초월해 다른 뼈대 기반 작업으로 일반화될 수 있는가?

주요 결과

• EfficientGCN-B4는 NTU RGB+D 60 크로스서브젝트 벤치마크에서 92.1%의 정확도를 달성하여 이전의 모든 최고기준 모델을 초월한다.
• MS-G3D와 같은 선도적인 최고기준 모델보다 5.82배 작고 5.85배 빠르지만 더 높은 정확도를 유지한다.
• 조기 융합 전략은 다중 스트림 GCN 아키텍처에서 후기 융합 대비 중복 파rameter를 크게 줄이는 데 효과적이다.
• ST-JointAtt 모듈은 특히 후속 레이어에서 정보가 없는 프레임을 억제하면서도, 손을 흔드는 동작 중 손의 움직임 등 핵심 관절을 성공적으로 강조한다.
• EfficientGCN-B4는 네 개의 사람 재식별 벤치마크에서 각각 64.5%, 67.3%, 62.4%, 96.1%의 랭크-1 정확도를 기록하여 이전의 모든 최고기준 모델을 능가한다.
• 모델은 동작 인식을 초월해 강력한 성능을 보이며, 뼈대 기반 사람 재식별 작업으로의 일반화 능력이 뛰어나다.