[논문 리뷰] PSUMNet: Unified Modality Part Streams are All You Need for Efficient Pose-based Action Recognition

Neel Trivedi, Ravi Kiran Sarvadevabhatla|arXiv (Cornell University)|2022. 08. 11.

Human Pose and Action Recognition인용 수 4

한 줄 요약

PSUMNet는 효율적인 자세 기반 행동 인식을 위해 통합된 모odal리티 파트 스트림 아키텍처를 도입한다. 기존의 독립적인 모달리티 스트림을 대체하여 국소적 역학(예: '손가락 올리기'는 손, '킥'은 다리)을 포착하는 파트 기반 처리를 수행한다. 기존 방법 대비 100%-400% 적은 파rameter를 사용하여 NTU RGB+D 60/120 및 NTU-X 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 엣지 장치에 효율적으로 구현할 수 있다.

ABSTRACT

Pose-based action recognition is predominantly tackled by approaches which treat the input skeleton in a monolithic fashion, i.e. joints in the pose tree are processed as a whole. However, such approaches ignore the fact that action categories are often characterized by localized action dynamics involving only small subsets of part joint groups involving hands (e.g. `Thumbs up') or legs (e.g. `Kicking'). Although part-grouping based approaches exist, each part group is not considered within the global pose frame, causing such methods to fall short. Further, conventional approaches employ independent modality streams (e.g. joint, bone, joint velocity, bone velocity) and train their network multiple times on these streams, which massively increases the number of training parameters. To address these issues, we introduce PSUMNet, a novel approach for scalable and efficient pose-based action recognition. At the representation level, we propose a global frame based part stream approach as opposed to conventional modality based streams. Within each part stream, the associated data from multiple modalities is unified and consumed by the processing pipeline. Experimentally, PSUMNet achieves state of the art performance on the widely used NTURGB+D 60/120 dataset and dense joint skeleton dataset NTU 60-X/120-X. PSUMNet is highly efficient and outperforms competing methods which use 100%-400% more parameters. PSUMNet also generalizes to the SHREC hand gesture dataset with competitive performance. Overall, PSUMNet's scalability, performance and efficiency makes it an attractive choice for action recognition and for deployment on compute-restricted embedded and edge devices. Code and pretrained models can be accessed at https://github.com/skelemoa/psumnet

연구 동기 및 목표

• 자세 기반 행동 인식 기존 방법이 뼈대를 전체 엔티티로 간주하여 처리하는 데 기인한 비효율성과 단일 처리 방식을 해결하기 위해.
• 독립적인 모달리티 스트림이 파rameter를 증가시키고 상호 모달리티 상관관계를 忽시한다는 한계를 극복하기 위해.
• 특정 관절 그룹(예: 손, 다리)에 의해 지배되는 행동에서 성능을 향상시키기 위해 파트 기반 스트림 처리를 도입하기 위해.
• 다양한 뼈대 구성(예: 밀도 높은 NTU-X, 희박한 SHREC)에 걸쳐 확장 가능하도록 하기 위해.
• 계산 자원이 제한된 엣지 및 임베디드 장치에 실질적으로 구현 가능한 경량이고 효율적인 아키텍처 개발하기 위해.

제안 방법

• 여러 모달리티(관절, 뼈대, 관절 속도, 뼈대 속도)를 개별 스트림이 아닌 각 파트 스트림 내에서 융합하는 통합된 모달리티 처리 파이프라인을 제안한다.
• 전체 자세의 부분 뼈대를 전역 기준 프레임에서 처리하는 파트 기반 스트림(몸통, 손, 다리)을 도입하여 국소적이고 맥락 인식 가능한 표현을 가능하게 한다.
• 스트림 간에 겹치는 관절 그룹을 사용하여 전역 운동 전파를 유지하면서 동시에 국소적 행동에 특화된 처리를 가능하게 한다.
• 각 파트 스트림에 공통된 백본 네트워크를 사용하고, 입력 수준에서 모달리티 융합을 적용하여 독립적 스트림 학습 대비 파rameter 수를 감소시킨다.
• 파트 스트림 예측을 후기 융합하여 각 스트림의 복잡도를 증가시키지 않고도 전문화된 표현을 통합한다.
• 전체 몸통(NTURGB+D), 밀도 높은(NTU-X), 희박한(SHREC) 구성 등 다양한 관절 밀도를 가진 데이터셋에 대해 확장 가능한 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 통합된 모달리티 처리 전략이 자세 기반 행동 인식에서 파rameter 수를 줄이면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 파트 기반 스트림 처리가 국소적 행동 역학을 포착하는 데 있어 단일 또는 분리된 파트 처리 방식보다 우월한가?
• RQ3 제안된 아키텍처는 관절 밀도와 구성이 다양한 다양한 뼈대 데이터셋에 어떻게 일반화되는가?
• RQ4 각 파트 스트림 내에서 공동 처리될 때 상호 모달리티 상관관계가 성능에 얼마나 기여하는가?
• RQ5 제안된 방법이 기존의 다중 스트림 접근 방식보다 훨씬 적은 파rameter로 최신 기술 수준의 정확도를 달성할 수 있는가?

주요 결과

• PSUMNet는 NTU60 교차-참가자 분할에서 92.9%의 정확도를 달성하고, NTU120에서는 89.4%를 기록하여 기존 최신 기술 수준의 방법보다 100%-400% 적은 파rameter로 성능을 뛰어넘었다.
• 몸통 스트림만으로도 NTU60에서 91.9%의 정확도를 달성했으며, 몸통+손 스트림 조합은 92.4%에 이를 정도로 전문화된 파트 스트림의 이점이 입증되었다.
• 다리 스트림은 NTU60에서 60.4%의 정확도를 기록하여 다리 운동이 지배적인 행동은 드물지만 여전히 효과적으로 포착됨을 시사한다.
• PSUMNet는 CTR-GCN보다 초기 행동 인식에서 뛰어난 성능을 보이며, 시퀀스의 30%-50%만 관찰된 상태에서도 높은 정확도를 유지한다.
• 제거 실험 결과에서 관절과 뼈대 모달리티가 성능 향상에 가장 기여하며, 네 가지 모달리티를 모두 사용할 경우 최고의 성능를 기록함을 확인했다.
• 통합된 모달리티 접근 방식은 독립적 스트림 학습 대비 파rameter 수를 크게 감소시켰으며, PSUMNet는 네 가지 모달리티를 융합함에도 불구하고 단지 280만 개의 파rameter만을 사용한다.