[논문 리뷰] Vertex Feature Encoding and Hierarchical Temporal Modeling in a Spatial-Temporal Graph Convolutional Network for Action Recognition

Konstantinos Papadopoulos, Enjie Ghorbel외 2명|arXiv (Cornell University)|2019. 12. 20.

Human Pose and Action Recognition참고 문헌 22인용 수 21

한 줄 요약

이 논문은 두 가지 새로운 모듈을 도입하여 뼈대 기반 행동 인식을 위한 컴act하고 엔드 투 엔드 공간-시간 그래프 컨볼루션 네트워크를 제안한다: 원시 관절 좌표를 분류에 유리한 특징 공간으로 변환하는 학습 가능한 그래프 버텍스 특징 인코더(GVFE)와 짧고 긴 시간적 의존성을 모두 모델링하는 확장 계층적 시간 컨volution 네트워크(DH-TCN). 이 방법은 기존 접근 방식보다 훨씬 적은 네트워크 블록 네 개만을 사용하여 NTU RGB-D 데이터셋에서 최신 기술 수준의 정확도를 달성하면서 파라미터 수, 학습 시간, 메모리 사용량을 모두 감소시킨다.

ABSTRACT

This paper extends the Spatial-Temporal Graph Convolutional Network (ST-GCN) for skeleton-based action recognition by introducing two novel modules, namely, the Graph Vertex Feature Encoder (GVFE) and the Dilated Hierarchical Temporal Convolutional Network (DH-TCN). On the one hand, the GVFE module learns appropriate vertex features for action recognition by encoding raw skeleton data into a new feature space. On the other hand, the DH-TCN module is capable of capturing both short-term and long-term temporal dependencies using a hierarchical dilated convolutional network. Experiments have been conducted on the challenging NTU RGB-D-60 and NTU RGB-D 120 datasets. The obtained results show that our method competes with state-of-the-art approaches while using a smaller number of layers and parameters; thus reducing the required training time and memory.

연구 동기 및 목표

• 스켈레톤 기반 행동 인식에서 원시 뼈대 특징(예: 관절 좌표)의 제한된 분류 능력을 해결한다.
• 기존 ST-GCN의 단일 시간 컨볼루션 레이어로 인해 장기적인 시간적 의존성을 효과적으로 모델링하지 못하는 문제를 해결한다.
• 성능 저하 없이 ST-GCN 기반 모델의 네트워크 블록 수와 파라미터 수를 줄인다.
• 스켈레톤 기반 행동 인식을 위한 더 효율적이고 엔드 투 엔드로 훈련 가능한 프레임워크를 개발한다.
• 학습된 버텍스 특징과 계층적 시간 모델링이 레이어 수를 줄이며 인식 정확도를 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 원시 3D 관절 좌표를 학습 가능한 더 분류에 적합한 버텍스 특징 공간으로 매핑하는 훈련 가능한 모듈인 그래프 버텍스 특징 인코더(GVFE)를 도입하며, 이는 ST-GCN와 함께 엔드 투 엔드로 훈련된다.
• 스택된 확장 컨볼루션을 계층적 구조로 사용하여 짧고 긴 시간적 동역학을 모두 포착하는 확장 계층적 시간 컨볼루션 네트워크(DH-TCN)를 제안한다.
• ST-GCN 블록 내 표준 시간 컨볼루션을 DH-TCN 모듈로 교체하여 시간 모델링 능력을 향상시킨다.
• 각 시간 프레임의 관절을 정점으로, 공간(내부 프레임 간) 및 시간(프레임 간) 연결을 간선으로 하는 공간-시간 그래프를 구축한다.
• 역전파를 사용하여 전체 네트워크를 엔드 투 엔드로 최적화하며, 동시에 버텍스 특징과 시간 표현을 공동으로 학습한다.
• 공간 그래프 컨볼루션과 DH-TCN를 조합한 수정된 ST-GCN 블록을 사용하여 시간 특징을 학습하고, 이후 글로벌 평균 풀링과 SoftMax 분류기를 적용한다.

실험 결과

연구 질문

• RQ1 ST-GCN에서 원시 관절 좌표에 비해 엔드 투 엔드로 학습된 버텍스 특징이 행동 인식 성능을 향상시킬 수 있는가?
• RQ2 계층적 확장 시간 컨볼루션 네트워크는 스켈레톤 시퀀스에서 짧고 긴 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 ST-GCN 블록 수를 줄이는 것으로 얼마나 효율성이 향상될 수 있으며, 정확도는 유지 또는 향상되는가?
• RQ4 GVFE와 DH-TCN 모듈이 행동 인식 성능 향상에 개별적으로 및 공동으로 기여하는 정도는 어떠한가?
• RQ5 제안된 프레임워크는 최신 기술 수준의 ST-GCN 변형보다 더 적은 파라미터 수와 더 짧은 학습 시간으로 더 높은 정확도를 달성하는가?

주요 결과

• 제안된 방법(GVFE + ST-GCN w/ DH-TCN)은 크로스세트 설정에서 NTU RGB-D 120 데이터셋에서 74.2%의 정확도를 달성하였으며, 원래 ST-GCN 대비 22.4% 향상된 성능이다.
• 단지 네 개의 블록만을 사용하여도 원래 ST-GCN(크로스서브젝트: 45.3%, 크로스세트: 51.8%)보다 22个百分点 이상 높은 성능를 기록하였다.
• 제거 분석 결과 GVFE와 DH-TCN 모두 기여도가 뚜렷함을 확인: GVFE만 적용 시 정확도 70.9%, DH-TCN만 적용 시 68.3%, 전체 모델은 74.2%에 도달함.
• 원래 AS-GCN(10개 블록)의 7,420,696개에서 제안된 방법(4개 블록)으로 파라미터 수를 7,370,568로 줄였으며, NTU-120에서 정확도는 유지 또는 향상됨.
• 원래 AS-GCN(10개 블록) 대비 NTU-120 데이터셋(크로스세트)에서 학습 시간이 24,029초 감소함.
• 표준 시간 컨볼루션을 DH-TCN로 교체했을 때 성능 향상이 가장 두드러지며, 이는 장거리 시간적 의존성을 효과적으로 모델링할 수 있음을 시사한다.