[논문 리뷰] Hierarchically Decomposed Graph Convolutional Networks for Skeleton-Based Action Recognition

Jungho Lee, Minhyeok Lee외 2명|arXiv (Cornell University)|2022. 08. 23.

Human Pose and Action Recognition인용 수 12

한 줄 요약

이 논문은 뼈대 기반 행동 인식을 위한 계층적 분해 그래프 컨볼루션 네트워크(HD-GCN)를 제안하며, 질량 중심(CoM)에서 시작해 관절을 의미론적 계층 수준으로 정렬함으로써 인접한 관절뿐 아니라 구조적으로 먼 관절 간의 관계를 포괄하는 새로운 계층적 분해 그래프(HD-Graph)를 도입한다. 이는 주로 관절과 뼈 스트림의 6방향 앙상블과 함께 동적 특성 강조를 위한 주의력 유도 계층 집합 모듈(A-HA)을 사용하여 운동 스트림 없이도 네 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Graph convolutional networks (GCNs) are the most commonly used methods for skeleton-based action recognition and have achieved remarkable performance. Generating adjacency matrices with semantically meaningful edges is particularly important for this task, but extracting such edges is challenging problem. To solve this, we propose a hierarchically decomposed graph convolutional network (HD-GCN) architecture with a novel hierarchically decomposed graph (HD-Graph). The proposed HD-GCN effectively decomposes every joint node into several sets to extract major structurally adjacent and distant edges, and uses them to construct an HD-Graph containing those edges in the same semantic spaces of a human skeleton. In addition, we introduce an attention-guided hierarchy aggregation (A-HA) module to highlight the dominant hierarchical edge sets of the HD-Graph. Furthermore, we apply a new six-way ensemble method, which uses only joint and bone stream without any motion stream. The proposed model is evaluated and achieves state-of-the-art performance on four large, popular datasets. Finally, we demonstrate the effectiveness of our model with various comparative experiments.

연구 동기 및 목표

• 뼈대 기반 행동 인식에서 장거리 종속성 문제를 해결하기 위해 구조적으로 먼 관절 간의 의미론적 관계를 포착함으로써 장거리 종속성을 모델링한다.
• 고정된 수작업 그래프(예: PC 간선 전용)의 한계와 기존 GCN 기반 방법에서의 최적화되지 않은 특징 집합 문제를 해결한다.
• 각 행동 샘플에 대해 가장 관련성이 높은 계층적 간선 집합을 동적으로 강조할 수 있는 동적이고 적응적인 메커니즘을 개발한다.
• 운동 스트림 의존성과 수작업 앙상블 계수를 제거하기 위해 세 가지 다른 CoM 노드를 사용하는 관절과 뼈 스트림만을 활용한 6방향 앙상블 전략을 설계한다.

제안 방법

• 질량 중심(CoM) 노드에서 시작하여 뼈대 관절을 의미론적 계층 수준으로 정렬함으로써 계층적 분해 그래프(HD-Graph)를 구축하며, 인접한 계층 간의 노드를 연결하여 장거리 종속성을 포착한다.
• CoM로부터의 거리 기반으로 계층 노드 집합을 정의하며, 동일한 수준에 속한 노드들은 의미론적 그룹을 형성하여 먼 관절 간 관계의 체계적인 표현을 가능하게 한다.
• 3D 점군 처리 기법을 영감으로 삼은 공간 간선 컨볼루션(S-EdgeConv)을 적용하여 HD-Graph가 포착하지 못한 의미론적으로 가까운 비인접 간선을 모델링한다.
• 스케일링 편향을 방지하기 위해 대표 공간 평균 풀링(RSAP)을 사용하는 주의력 유도 계층 집합(A-HA) 모듈과 특징 공간 내 유클리드 거리 기반으로 주요 계층 특징을 식별하는 계층 간선 컨볼루션(H-EdgeConv)을 도입한다.
• 가슴, 배, 힙의 세 가지 다른 CoM 노드를 사용하여 관절과 뼈 스트림을 기반으로 한 6방향 앙상블 전략을 구현하며, 수작업 계수 조정 없이 각 기여도를 동일하게 유지한다.
• 운동 스트림을 완전히 생략하고 관절과 뼈 모odal리티 스트림만을 사용함으로써 복잡성을 줄이고 정확도를 유지하면서도 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 뼈대 관절을 의미론적 수준으로 계층화함으로써 그래프 컨볼루션 네트워크에서 장거리 종속성 모델링 성능을 향상시킬 수 있는가?
• RQ2 동적 주의력 메커니즘이 다양한 행동 클래스에 대해 가장 구분력 있는 계층적 간선 집합을 효과적으로 식별하고 강조할 수 있는가?
• RQ3 운동 스트림을 제거하고 관절 및 뼈 특징에 기반한 다중 질량 중심 앙상블 전략을 사용할 경우 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 HD-Graph 아키텍처가 고정된 수작업 그래프와 학습 가능한 그래프를 초월하여 인간 뼈대의 국소적 및 전반적 구조적 관계를 효과적으로 포착할 수 있는가?

주요 결과

• HD-GCN은 네 가지 대규모 뼈대 기반 행동 인식 벤치마크에서 최신 기술 성능을 달성하였으며, X-Set 분할 기준 NTU-RGB+D 120에서 97.2%의 정확도와 X-Sub 분할 기준 91.6%의 정확도를 기록하였다.
• 세 가지 다른 CoM 노드를 사용하는 관절과 뼈 스트림만을 활용한 6방향 앙상블 전략은 X-Sub에서 93.4%, X-Set에서 97.2%의 정확도를 달성하여 운동 스트림을 포함한 모델를 능가하였다.
• 단일 스트림 실험에서 모델는 NTU-RGB+D 120의 X-Sub 및 X-Set 분할에서 각각 85.7%와 87.3%의 정확도를 기록하였으며, 이는 이전 최신 기술인 DC-GCN, MS-G3D, CTR-GCN, InfoGCN를 초월하였다.
• 절단 분석 결과, 다른 CoM 노드(Chest, Belly, Hip)는 다양한 클래스에서 최대 13%의 성능 차이를 나타내어 앙상블의 다양성과 상호보완성을 입증하였다.
• HD-Graph 아키텍처는 클래핑이나 스쿼트와 같은 동작에 핵심적인 왼손과 오른손 간 관계와 같은 먼 관절 간 관계를 효과적으로 모델링할 수 있었다.
• A-HA 모듈은 특징 공간 거리와 대표 노드 풀링을 활용하여 주목할 만한 계층적 간선 집합(예: 클래핑 동작에서 손-손 연결)을 성공적으로 식별하고 강조하였다.