[논문 리뷰] Fusing Higher-order Features in Graph Neural Networks for Skeleton-based Action Recognition

Zhenyue Qin, Yang Liu외 6명|arXiv (Cornell University)|2021. 05. 04.

Human Pose and Action Recognition참고 문헌 31인용 수 6

한 줄 요약

이 논문은 그래프 신경망에서 뼈대 기반 동작 인식의 정확도를 향상시키기 위해 고차원 특징 표현으로 각도 인코딩을 제안한다. 정적 및 속도 도메인에서 유도된 각도 특징을 기존의 ST-GCN 및 Decoupled GCN 아키텍처에 융합함으로써, 파rameter 수가 적고 추론 시간이 짧은 점을 고려할 때 NTU60 및 NTU120에서 최신 기준 성능을 달성하며, 유사한 운동 궤적을 가진 동작들을 더 잘 구분할 수 있게 된다.

ABSTRACT

Skeleton sequences are lightweight and compact, and thus are ideal candidates for action recognition on edge devices. Recent skeleton-based action recognition methods extract features from 3D joint coordinates as spatial-temporal cues, using these representations in a graph neural network for feature fusion to boost recognition performance. The use of first- and second-order features, i.e., joint and bone representations, has led to high accuracy. Nonetheless, many models are still confused by actions that have similar motion trajectories. To address these issues, we propose fusing higher-order features in the form of angular encoding into modern architectures to robustly capture the relationships between joints and body parts. This simple fusion with popular spatial-temporal graph neural networks achieves new state-of-the-art accuracy in two large benchmarks, including NTU60 and NTU120, while employing fewer parameters and reduced run time. Our source code is publicly available at: https://github.com/ZhenyueQin/Angular-Skeleton-Encoding.

연구 동기 및 목표

• 뼈대 기반 동작 인식에서 유사한 운동 궤적을 가진 동작들을 구분하는 데 도전하는 것을 목적으로 한다.
• 인간 신체의 크기 및 운동 속도의 변동에 대해 모델의 강건성을 향상시키는 것을 목적으로 한다.
• 일반적인 일차 및 이차 특징을 초월하여 고차원의 구조적 관계를 포함시킴으로써 그래프 신경망의 특징 표현을 향상시키는 것을 목적으로 한다.
• 각도 특징의 효율적이고 파rameter가 적은 융합을 통해 엣지 장치에서 실시간 동작 인식을 가능하게 하는 것을 목적으로 한다.

제안 방법

• 세 개의 관절이 형성하는 각도에서 유도된 중심 기반, 부위 기반, 손가락 기반, 속도 기반의 네 가지 유형의 각도 인코딩을 제안한다.
• 정적(관절 좌표) 및 속도(연속 프레임 간 차이) 도메인에서 각도 특징을 정의하여 동적 운동 패턴을 캡처한다.
• 공간-시계열 GCN 백본에 입력하기 전에 각도 특징을 기존의 관절 및 뼈대 표현과 연결(concatenation)하여 융합한다.
• 표준 아키텍처인 STGCN 및 Decoupled GCN에 융합을 적용하여 아키텍처의 전반적인 개편 없이도 즉시 통합이 가능하도록 한다.
• 계층적인 시공간 특징을 추출하기 위해 공간 다중 척도 그래프 컨볼루션과 시간 다중 척도 컨볼루션을 갖춘 세 블록 백본을 사용한다.
• 각도를 초모서리(hyperedge)로 간주함으로써 초그래프 기반 모델링을 적용하여, 기존 GCN의 기능을 확장하여 삼차 관계를 캡처한다.

실험 결과

연구 질문

• RQ1 관절 각도와 같은 고차원 특징이 뼈대 기반 동작 인식에서 유사한 운동 궤적을 가진 동작들을 더 잘 구분하는 데 도움이 될 수 있는가?
• RQ2 일차 및 이차 특징(관절 및 뼈대)과 비교할 때 각도 인코딩의 정확도 및 강건성 측면에서 성능는 어떻게 되는가?
• RQ3 기존 GCN 백본에 각도 특징을 융합하면 다양한 아키텍처와 데이터셋에서 일관된 성능 향상이 이루어지는가?
• RQ4 각도 인코딩은 정적 도메인과 속도 도메인 모두에서 효과적이며, 어느 도메인이 더 큰 향상을 제공하는가?
• RQ5 제안된 방법은 엣지 장치에 적합한 낮은 계산 비용을 유지하면서도 최신 기준 정확도를 달성할 수 있는가?

주요 결과

• STGCN 및 Decoupled GCN 모델에 각도 인코딩을 융합함으로써 NTU60 및 NTU120 벤치마크에서 새로운 최고 성능을 달성하였으며, 속도 입력과 정적 입력에서 평균 정확도 향상률이 각각 1.42% 및 0.58%에 달한다.
• 부위 기반 각도 인코딩은 속도 입력에서 정확도를 1.47% 향상시켜 동적 동작(팔다리 운동 포함)과의 강력한 보완성을 보여준다.
• 중심 기반 각도 인코딩은 모든 백본에서 가장 큰 정확도 향상을 기록하여 전반적인 신체 자세의 역학적 특성을 효과적으로 캡처함을 시사한다.
• 이 방법은 ShiftGCN, DecoupleGCN, MSG3D 등 세 가지 다양한 백본에서 일관되게 성능 향상을 이끌어내어 뛰어난 일반화 능력을 입증한다.
• 속도 도메인 특징을 각도 인코딩과 함께 사용할 경우 정적 도메인 특징보다 더 큰 정확도 향상을 기록하며, 특히 '책을 스타일프레스하는 것'과 같은 장시간 지속되는 동작에서 두드러진다.
• 기존 최고 성능 모델 대비 계산 비용을 줄여 엣지 장치에서 실시간 추론이 가능하게 한다.