[논문 리뷰] Non-Local Graph Convolutional Networks for Skeleton-Based Action Recognition

Lei Shi, Yifan Zhang외 2명|arXiv (Cornell University)|2018. 05. 20.

Human Pose and Action Recognition참고 문헌 17인용 수 22

한 줄 요약

이 논문은 뼈대 기반 동작 인식을 위한 이중 스트림 적응형 그래프 컨볼루션 네트워크(2s-AGCN)를 제안하며, 역전파를 통한 백프로파게이션을 통해 엔드 투 엔드로 그래프 구조를 학습함으로써 다양한 샘플에 대한 데이터 기반 적응을 가능하게 한다. 첫 번째 및 두 번째 순서 뼈대 정보(관절 위치 및 뼈 벡터)를 함께 모델링함으로써 NTU-RGBD 및 Kinetics-Skeleton 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In skeleton-based action recognition, graph convolutional networks (GCNs), which model the human body skeletons as spatiotemporal graphs, have achieved remarkable performance. However, in existing GCN-based methods, the topology of the graph is set manually, and it is fixed over all layers and input samples. This may not be optimal for the hierarchical GCN and diverse samples in action recognition tasks. In addition, the second-order information (the lengths and directions of bones) of the skeleton data, which is naturally more informative and discriminative for action recognition, is rarely investigated in existing methods. In this work, we propose a novel two-stream adaptive graph convolutional network (2s-AGCN) for skeleton-based action recognition. The topology of the graph in our model can be either uniformly or individually learned by the BP algorithm in an end-to-end manner. This data-driven method increases the flexibility of the model for graph construction and brings more generality to adapt to various data samples. Moreover, a two-stream framework is proposed to model both the first-order and the second-order information simultaneously, which shows notable improvement for the recognition accuracy. Extensive experiments on the two large-scale datasets, NTU-RGBD and Kinetics-Skeleton, demonstrate that the performance of our model exceeds the state-of-the-art with a significant margin.

연구 동기 및 목표

• 기존 GCN에서 뼈대 기반 동작 인식을 위한 고정된 수작업 설계된 그래프 구조의 한계를 해결하기 위해.
• 각 샘플 또는 층 간에 일관되게 그래프 구조를 엔드 투 엔드로 학습함으로써 모델 일반화 능력을 향상시키기 위해.
• 이전 방법에서 미흡하게 활용된 두 번째 순서 뼈대 정보(뼈 길이 및 방향)를 활용하기 위해.
• 첫 번째 순서(관절 위치)와 두 번째 순서(뼈 특징) 공간 관계를 동시에 모델링하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 한 스트림은 관절 위치(첫 번째 순서 특징)를 처리하고 다른 스트림은 뼈 벡터(두 번째 순서 특징)를 처리하는 이중 스트림 아키텍처를 제안한다.
• 역전파를 통해 최적화되는 학습 가능한 인접 행렬을 도입하여 그래프 구조가 입력 샘플과 네트워크 깊이에 따라 적응할 수 있도록 한다.
• 학습 중에 동적으로 그래프 구조를 조정하는 적응형 그래프 컨볼루션 레이어를 사용하여 수작업 설계 없이도 구조를 유연하게 조정한다.
• 심층 GCN 아키텍처의 훈련 안정성을 높이기 위해 아이덴티티 스트립을 갖춘 잔차 학습 프레임워크를 적용한다.
• 시간적 연속성을 유지하면서도 공간 관계를 모델링하는 스파ati오텀포럴 그래프 컨볼루션을 사용한다.
• 최종 분류 이전에 두 스트림의 특징을 원소별로 연결하여 통합한다.

실험 결과

연구 질문

• RQ1 고정된 수작업 설계된 그래프 대비 엔드 투 엔드로 학습된 그래프 구조가 뼈대 기반 동작 인식 성능 향상에 기여하는가?
• RQ2 첫 번째 및 두 번째 순서 뼈대 특징을 함께 모델링할 경우 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 적응형 그래프 학습 메커니즘이 다양한 동작 샘플과 복잡한 인간 자세에 일반화되는가?
• RQ4 이중 스트림 설계가 GCN에서 분류 능력 향상에 얼마나 기여하는가?

주요 결과

• 제안된 2s-AGCN은 NTU-RGBD 데이터셋에서 기존 방법보다 뚜렷한 격차로 최신 기술 수준의 정확도를 달성한다.
• Kinetics-Skeleton 데이터셋에서는 새로운 최신 기술 수준의 성능을 기록하여 대규모이고 다양한 동작 카테고리에 대한 강력한 일반화 능력을 입증한다.
• 제거 실험 결과, 적응형 그래프 학습과 이중 스트림 설계가 성능 향상에 크게 기여하는 것으로 확인된다.
• 두 번째 순서 정보(뼈 벡터)의 포함으로 관절 위치만을 사용하는 모델 대비 정확도 향상이 뚜렷하게 관찰된다.
• 엔드 투 엔드로 학습된 그래프 구조는 두 데이터셋의 모든 평가 프로토콜에서 일관되게 성능 향상을 이룬다.
• 탄력적이고 데이터 기반의 그래프 구조 설계 덕분에 자세의 변동성과 동작 복잡성에 대해 높은 내성성을 보였다.