[논문 리뷰] Centrality Graph Convolutional Networks for Skeleton-based Action Recognition

Dong Yang, Monica Mengqi Li외 3명|arXiv (Cornell University)|2020. 03. 06.

Human Pose and Action Recognition참고 문헌 57인용 수 14

한 줄 요약

이 논문은 관절 중심성(centrality)을 통해 위계적 구조를 모델링하고 핵심 관절과 뼈를 식별함으로써 골격 기반 행동 인식을 향상시키기 위해 중심성 그래프 컨볼루션 네트워크(CGCN)를 제안한다. 네 채널 프레임워크에서 중심성 인식 그래프 컨볼루션과 적응형 그래프 학습을 통합함으로써, CGCN은 NTU RGB+D 및 Kinetics 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The topological structure of skeleton data plays a significant role in human action recognition. Combining the topological structure with graph convolutional networks has achieved remarkable performance. In existing methods, modeling the topological structure of skeleton data only considered the connections between the joints and bones, and directly use physical information. However, there exists an unknown problem to investigate the key joints, bones and body parts in every human action. In this paper, we propose the centrality graph convolutional networks to uncover the overlooked topological information, and best take advantage of the information to distinguish key joints, bones, and body parts. A novel centrality graph convolutional network firstly highlights the effects of the key joints and bones to bring a definite improvement. Besides, the topological information of the skeleton sequence is explored and combined to further enhance the performance in a four-channel framework. Moreover, the reconstructed graph is implemented by the adaptive methods on the training process, which further yields improvements. Our model is validated by two large-scale datasets, NTU-RGB+D and Kinetics, and outperforms the state-of-the-art methods.

연구 동기 및 목표

• 기존 방법들이 인간 골격의 핵심 구조적 구성 요소를 식별하지 못하는 데서 비롯하는 한계를 해결하기 위해.
• 행동 표현에서 관절과 뼈의 중심성에 초점을 맞춤으로써 골격 시퀀스에 잠재된 위계적 정보를 드러내기 위해.
• 학습 중 중심성 인식 그래프 컨볼루션과 적응형 그래프 학습을 통합하여 행동 인식 성능을 향상시키기 위해.
• 공간적, 시간적, 중심성 향상 특징을 통합한 네 채널 프레임워크를 설계하여 강력한 행동 분류를 위한 목적으로.
• 대규모 벤치마크 데이터셋에서 제안된 방법의 유효성을 검증하고, 최신 기술 수준의 결과를 달성하기 위해.

제안 방법

• 노드 중심성 점수를 계산하여 골격 그래프에서 핵심 관절과 뼈를 강조하는 중심성 그래프 컨볼루션 네트워크를 제안한다.
• 노드 및 간선의 중심성을 기반으로 특징을 가중하는 새로운 그래프 컨볼루션 메커니즘을 도입하여 중요한 신체 부위의 기여도를 향상시킨다.
• 원본, 중심성 가중, 재구성된 그래프 특징과 시간 동적 특징을 융합하기 위해 네 채널 프레임워크를 활용하여 표현력을 향상시킨다.
• 학습 중에 적응형 그래프 학습을 적용하여 골격 위계를 동적으로 재구성함으로써 변화하는 구조적 관계를 포착한다.
• 학습 가능한 파rameter를 갖는 그래프 컨볼루션 네트워크(GCNs)를 사용하여 골격 시퀀스를 처리하면서 위계적 구조를 유지한다.
• 초기 그래프 위계를 물리적 관절 연결 관계로 설정한 후, 중심성과 적응형 학습을 통해 이를 개선하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 골격 그래프에서의 중심성 측정이 행동 인식을 위한 핵심 관절과 뼈 식별에 어떻게 기여하는가?
• RQ2 기존 GCN 기반 방법과 비교했을 때, 위계적 중심성 통합이 성능 향상에 어느 정도 기여하는가?
• RQ3 학습 중 적응형 그래프 재구성이 복잡한 골격 시퀀스에서의 정확도 향상에 얼마나 기여하는가?
• RQ4 중심성 인식 특징을 갖춘 제안된 네 채널 프레임워크는 대규모 데이터셋에서 기존 최신 기술 수준 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 CGCN 모델은 NTU RGB+D 데이터셋에서 최신 기술 수준 성능을 달성하여 기존 방법보다 행동 인식 정확도에서 뛰어난 성능을 보였다.
• 중심성 인식 그래프 컨볼루션을 통합함으로써 행동 분류 과정에서 핵심 관절과 뼈를 식별하는 데 있어 명확한 성능 향상이 이루어졌다.
• 원본, 중심성 가중, 재구성된 그래프 특징을 융합한 네 채널 프레임워크는 모델의 강건성과 정확도를 크게 향상시켰다.
• 학습 중 적응형 그래프 학습을 통해 학습된 구조적 중요도에 기반해 골격 위계를 동적으로 정밀하게 개선함으로써 성능 향상이 추가로 이루어졌다.
• 모델는 Kinetics 데이터셋에서도 강력한 일반화 능력을 보이며, 단일 데이터셋 최적화를 넘어서 효과적인 성능을 입증하였다.
• 제거 실험(ablation study)를 통해 중심성 모델링과 적응형 그래프 재구성이 전체 성능 향상의 핵심 기여 요소임을 확인하였다.