[논문 리뷰] Dynamic Hypergraph Convolutional Networks for Skeleton-Based Action Recognition

Jinfeng Wei, Yunxin Wang외 4명|arXiv (Cornell University)|2021. 12. 20.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 뼈대 기반 동작 인식을 위한 동적 초그래프 컨볼루션 네트워크(DHGCN)를 제안하며, 학습 가능한 관절 가중치와 적응형 구조를 갖춘 동적 초그래프를 활용하여 고차원 운동 관계를 포착한다. 이 방법은 Kinetics-Skeleton 400, NTU RGB+D 60, NTU RGB+D 120에서 최신 기술 수준(SOTA) 성능을 달성하며, 관절-뼈 융합과 동적 구조 적응을 통해 향상된 특징 표현을 실현한다.

ABSTRACT

Graph convolutional networks (GCNs) based methods have achieved advanced performance on skeleton-based action recognition task. However, the skeleton graph cannot fully represent the motion information contained in skeleton data. In addition, the topology of the skeleton graph in the GCN-based methods is manually set according to natural connections, and it is fixed for all samples, which cannot well adapt to different situations. In this work, we propose a novel dynamic hypergraph convolutional networks (DHGCN) for skeleton-based action recognition. DHGCN uses hypergraph to represent the skeleton structure to effectively exploit the motion information contained in human joints. Each joint in the skeleton hypergraph is dynamically assigned the corresponding weight according to its moving, and the hypergraph topology in our model can be dynamically adjusted to different samples according to the relationship between the joints. Experimental results demonstrate that the performance of our model achieves competitive performance on three datasets: Kinetics-Skeleton 400, NTU RGB+D 60, and NTU RGB+D 120.

연구 동기 및 목표

• 뼈대 데이터에서 인간 관절 간의 복잡한 고차원 관계를 모델링하는 데에 고정된 구조를 갖춘 그래프 컨볼루션 네트워크의 한계를 해결하기 위해.
• 쌍방향 관절 연결을 넘어서 운동 역학을 포착하기 위해 초그래프 구조를 활용하여 동작 인식 성능을 향상시키기 위해.
• 운동 패턴에 따라 초그래프 구조와 관절 중요도를 동적으로 조정함으로써 다양한 동작 유형에 대한 모델 적응성을 향상시키기 위해.
• 정적 및 동적 초그래프 구성 요소를 통합하여 뼈대 시퀀스에서 강력한 공간-시간 특징 학습을 가능하게 하기 위해.
• 수작업으로 만든 특징과 고정된 그래프 구조에 의존하는 것을 줄이고, 데이터에 따라 결정되는 구조와 가중치를 학습함으로써 개선된 성능을 달성하기 위해.

제안 방법

• 이 방법은 기본적인 구조를 위한 정적 초그래프와 샘플별 적응을 위한 동적 초그래프로 구성된 하이브리드 초그래프 구조를 사용하여 뼈대 데이터를 모델링한다.
• 각 관절의 이동 거리에 기반하여 동적 관절 가중치를 할당하여, 특징 집합 과정에서 더 활동적인 관절을 강조한다.
• 각 샘플의 국소적 및 전역적 관절 관계를 포착하기 위해 K-최근접 이웃(K-NN)과 K-평균 군집화를 사용하여 동적 초그래프 구조를 구성한다.
• 정적 및 동적 초그래프의 조합에 기반한 초그래프 컨볼루션을 통해 공간적 특징을 추출한 후, 공간-시간 모델링을 위해 시간적 컨volution 네트워크(TCN)를 적용한다.
• 관절 좌표와 뼈대 벡터를 융합하여 표현을 향상시키는 관절-뼈 융합 프레임워크를 도입한다.
• 다양한 데이터셋의 뼈대 시퀀스를 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 뼈대 기반 동작 인식에서 기존의 고정된 구조를 갖춘 그래프에 비해 동적 초그래프 구조가 인간 관절 간의 고차원 관계를 더 잘 포착할 수 있는가?
• RQ2 운동 활동에 기반하여 관절 가중치를 동적으로 할당할 경우, 특징 표현과 정확도 향상에 어떤 영향을 미치는가?
• RQ3 K-NN 및 K-평균 군집화를 통한 적응형 초그래프 구조 구성이 다양한 동작 유형 간의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 정적 및 동적 초그래프 구성 요소의 융합이 정적 또는 순수하게 동적 접근에 비해 우수한 성능을 내는가?
• RQ5 Kinetics-Skeleton 400, NTU RGB+D 60, NTU RGB+D 120와 같은 대규모 벤치마크 데이터셋에서 제안된 DHGCN 모델은 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• NTU RGB+D 60 데이터셋에서 DHGCN는 X-Sub 분할에서 Top-1 정확도 86.0%와 Top-5 정확도 87.9%를 기록하며, 비교된 14개의 다른 방법들을 초월한다.
• NTU RGB+D 120 데이터셋에서는 비교된 방법들 중에서 가장 높은 성능를 기록하며, 대규모 데이터에서의 강력한 일반화 능력을 입증한다.
• 노이즈가 많은 뼈대 데이터로 인한 도전에도 불구하고, Kinetics-Skeleton 400에서 DHGCN는 Top-1 정확도 86.0%와 Top-5 정확도 87.9%의 경쟁력 있는 성능을 달성한다.
• 제거 실험 결과, 동적 관절 가중치와 동적 구조 모두 성능 향상에 기여하는 것으로 확인되었으며, 관절-뼈 융합이 추가로 정확도를 향상시킨다.
• ST-TR 및 DGNN와 같은 주목적 메커니즘 또는 방향성 비순환 그래프를 사용하는 모델들에 비해, X-Sub 벤치마크에서 DHGCN는 더 높은 성능를 기록한다.
• 다양한 동작에서 관절 위치와 각도의 변동성에 대해 강건성을 보이며, 이는 적응형 초그래프 구조 생성 메커니즘 덕분으로 여겨진다.