[논문 리뷰] Part-based Graph Convolutional Network for Action Recognition

Kalpit Thakkar, P. J. Narayanan|arXiv (Cornell University)|2018. 09. 13.

Human Pose and Action Recognition참고 문헌 1인용 수 132

한 줄 요약

이 논문은 PB-GCN을 제안하는데, 이는 인체 골격을 신체 부위로 분할하는 부위 기반 그래프 컨볼루션 네트워크로, 기하학적 및 운동학 노드 특성을 사용하며 골격 액션 인식에서 NTURGB+D와 HDM05에서 최첨단 결과를 달성한다.

ABSTRACT

Human actions comprise of joint motion of articulated body parts or `gestures'. Human skeleton is intuitively represented as a sparse graph with joints as nodes and natural connections between them as edges. Graph convolutional networks have been used to recognize actions from skeletal videos. We introduce a part-based graph convolutional network (PB-GCN) for this task, inspired by Deformable Part-based Models (DPMs). We divide the skeleton graph into four subgraphs with joints shared across them and learn a recognition model using a part-based graph convolutional network. We show that such a model improves performance of recognition, compared to a model using entire skeleton graph. Instead of using 3D joint coordinates as node features, we show that using relative coordinates and temporal displacements boosts performance. Our model achieves state-of-the-art performance on two challenging benchmark datasets NTURGB+D and HDM05, for skeletal action recognition.

연구 동기 및 목표

• 부분 기반 관점으로 골격 데이터에서 액션 인식을 동기화하여 파트별 관계 및 파트 간 관계를 포착한다.
• PB-GCN을 제안하여 골격 그래프를 공유된 정점으로 구성된 서브그래프로 분할하고 파트별 합성(convolution)을 학습한다.
• 기하학적(상대 좌표) 및 운동(시계열 변위) 특징을 사용하는 것이 3D 관절 좌표보다 인식 성능을 향상시킨다.
• 제안된 프레임워크를 통해 NTURGB+D와 HDM05 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• 알려진 분할 특성을 가진 그래프에 대해 일반적인 PB-GCN을 정의한다.
• 골격 그래프를 여러 겹치는 부분 그래프로 분할하여 신체 부위를 나타낸다(예: 축 및 부속 구성 요소).
• 각 부위에서 공간 합성을 독립적으로 수행하고, 부위 간 학습된 융합 함수 F_agg를 통해 이를 집계한다.
• 각 부위 내에서 시공 간 그래프를 확장하고 프레임 간 및 프레임 간의 관절을 시간적으로 연결한 뒤 시간적 합성을 수행한다.
• 노드 특징으로 상대 좌표와 시계열 변위를 연결해 사용한다.
• 학습 가능한 에지 가중치 마스크와 잔차 연결을 포함하고, ResNet과 유사한 아키텍처를 따라 9개의 SP-Temporal GCN 유닛을 사용한다.

실험 결과

연구 질문

• RQ1 파트 분할이 의미 있는 신체 부위로 구성된 경우 골격을 단일 그래프로 다루는 것보다 액션 인식이 향상되는가?
• RQ2 PB-GCN을 사용할 때 기하학적(상대 좌표) 및 운동학(시계열 변위) 특징이 골격 액션 인식을 개선하는가?
• RQ3 다른 부위 구성(1, 2, 4, 6 부위)이 인식 정확도에 어떤 영향을 미치는가?
• RQ4 PB-GCN이 NTURGB+D와 HDM05 데이터셋에서 최첨단의 그래프 기반 골격 액션 인식 방법과 어떻게 비교되는가?

주요 결과

• 네 부분으로 구성된 PB-GCN이 단일 부위 및 다른 분할 방식보다 NTURGB+D에서 정확도가 더 높다.
• 상대 좌표와 시계열 변위(D_R || D_T) 두 가지 신호를 함께 사용할 때, 특히 부품이 많을수록 최상의 성능을 보인다.
• PB-GCN이 NTURGB+D와 HDM05에서 이전의 그래프 기반 골격 액션 인식 방법을 능가하며 최첨단 성능을 달성한다.
• 기하학적 및 운동학적 단서는 성능 향상에 큰 기여를 하며, 특히 시계열 변위가 성능에 크게 기여한다.
• 부품 간 공유 또는 분리 컨볼루션 커널 구성 가능하며, 부위 기반 F_agg를 통한 융합이 여러 부품의 정보를 효과적으로 통합한다.