[논문 리뷰] Symbiotic Graph Neural Networks for 3D Skeleton-based Human Action Recognition and Motion Prediction

Maosen Li, Siheng Chen외 4명|arXiv (Cornell University)|2019. 10. 05.

Human Pose and Action Recognition인용 수 13

한 줄 요약

이 논문은 다중 척도 그래프 컨volution 네트워크를 사용하여 3D 스켈레톤 기반 동작 인식과 운동 예측을 위한 공동 모델인 Symbiotic Graph Neural Networks (Sym-GNN)를 제안한다. 연속적인 관점에서 관절 척도 및 부위 척도 그래프를 이중 뼈대 기반 네트워크와 통합함으로써, 인식 및 예측 헤드 간 상호 감독을 통해 특징 학습을 향상시키며, NTU-RGB+D, Kinetics, Human3.6M 및 CMU Mocap 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

3D skeleton-based action recognition and motion prediction are two essential problems of human activity understanding. In many previous works: 1) they studied two tasks separately, neglecting internal correlations; 2) they did not capture sufficient relations inside the body. To address these issues, we propose a symbiotic model to handle two tasks jointly; and we propose two scales of graphs to explicitly capture relations among body-joints and body-parts. Together, we propose symbiotic graph neural networks, which contain a backbone, an action-recognition head, and a motion-prediction head. Two heads are trained jointly and enhance each other. For the backbone, we propose multi-branch multi-scale graph convolution networks to extract spatial and temporal features. The multi-scale graph convolution networks are based on joint-scale and part-scale graphs. The joint-scale graphs contain actional graphs, capturing action-based relations, and structural graphs, capturing physical constraints. The part-scale graphs integrate body-joints to form specific parts, representing high-level relations. Moreover, dual bone-based graphs and networks are proposed to learn complementary features. We conduct extensive experiments for skeleton-based action recognition and motion prediction with four datasets, NTU-RGB+D, Kinetics, Human3.6M, and CMU Mocap. Experiments show that our symbiotic graph neural networks achieve better performances on both tasks compared to the state-of-the-art methods.

연구 동기 및 목표

• 3D 스켈레톤 기반 동작 인식과 운동 예측을 별개의 과제로 간주함으로써 상호 의존성을 간과하는 한계를 해결하기 위해.
• 3D 스켈레톤 내 국소적 관절 관계와 고수준의 신체 부위 상호작용을 명시적으로 모델링하여 특징 표현을 향상시키기 위해.
• 공유된 백본 특징을 기반으로 인식 및 예측 헤드를 공동으로 훈련시켜 모델의 강건성과 성능을 향상시키기 위해.
• 행동 특이적 역학적 특성과 물리적 제약 조건을 동시에 캡처하는 다중 척도 그래프 컨볼루션 프레임워크를 개발하기 위해.
• 공유되고 상호 보완적인 표현을 통해 조기이고 정확한 동작 분류와 정밀한 장기 예측 운동 시퀀스 생성을 가능하게 하기 위해.

제안 방법

• 모델은 관절 척도 및 부위 척도 그래프를 모두 처리하는 다중 분지 다중 척도 그래프 컨볼루션 백본을 사용하여 공간-시간 특징을 추출한다.
• 관절 척도 그래프에는 행동 기반 역학을 캡처하는 행동 그래프와 관절 간 물리적 제약 조건을 모델링하는 구조 그래프가 포함된다.
• 부위 척도 그래프는 관절을 신체 부위(예: 사지)로 그룹화하여 고수준의 의미적 관계를 표현하고 일반화 능력을 향상시킨다.
• 이중 뼈대 기반 네트워크는 관절 좌표에서 유도된 뼈 벡터로부터 상호 보완적인 특징을 학습하여 운동 패턴 모델링을 향상시킨다.
• 행동 인식 헤드와 운동 예측 헤드는 공동으로 훈련되며, 예측된 행동 카테고리가 다시 운동 헤드에 피드백되어 향후 자세 생성을 안내한다.
• 그래프 추론 모듈은 입력 노이즈에 대해 안정적이며, 이론적 경계를 통해 노이즈에 대해 선형 반응을 보임(q ≈ 1)을 입증하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 독립적인 모델에 비해 동작 인식과 운동 예측을 공동으로 훈련시키는 것이 양 과제의 성능 향상에 기여하는가?
• RQ2 관절 척도 및 부위 척도로 구성된 다중 척도 그래프는 3D 스켈레톤 모델링에서 특징 표현을 어떻게 향상시키는가?
• RQ3 인식 및 예측 헤드 간 상호보완적 상호작용이 특징 학습 및 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 모델은 입력 노이즈 하에서 어떻게 성능을 보이며, 그래프 기반 추론은 안정적인가?
• RQ5 제안된 그래프 구조는 인간 운동 내 국소적 역학과 장거리 행동 관련 관계를 효과적으로 캡처할 수 있는가?

주요 결과

• Sym-GNN는 Cross-Subject 분할에서 NTU-RGB+D에서 최신 기술 수준(SOTA)의 동작 인식 정확도를 달성한다.
• Human3.6M에서 Sym-GNN는 이전 SOTA 방법 대비 운동 예측 평균 절대 오차(MAE)를 최대 12.3% 감소시켰다.
• 입력 스켈레톤에 가우시안 노이즈(σ ≤ 0.04)가 첨가된 경우에도 인식 정확도가 90% 이상 유지된다.
• 운동 예측 결과에서는 Res-sup, AGED 및 CSM에 비해 Sym-GNN가 더 현실적이고 정확한 장기 시퀀스를 생성하며, 과도한 회전 및 비틀림 아티팩트를 피한다.
• 노이즈 분석 결과 그래프 컨볼루션 모듈이 안정적이며, 입력 노이즈에 대한 반응 편차가 선형적으로 증폭됨을 확인함(q ≈ 1).
• 관절 척도 행동 그래프의 시각화 결과, 의미적으로 유사한 동작(예: 걷기, 함께 걷기)이 임베딩 공간에서 가까이 군집되어 있음을 확인할 수 있었다.