[논문 리뷰] Topology-aware Convolutional Neural Network for Efficient Skeleton-based Action Recognition

Kailin Xu, Fanfan Ye외 2명|arXiv (Cornell University)|2021. 12. 08.

Human Pose and Action Recognition인용 수 10

한 줄 요약

이 논문은 순수 컨볼루션 신경망인 Topology-aware CNN (Ta-CNN)을 제안하며, 새로운 크로스채널 특징 증강 모듈과 맞춤형 SkeletonMix 데이터 증강 전략을 통해 정점 구조 특징 학습을 향상시킨다. 이 방법은 CNN 및 GCN 기반 모델 대비 상당히 감소된 파rameter 수와 GFLOPs를 기록하면서도 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

In the context of skeleton-based action recognition, graph convolutional networks (GCNs) have been rapidly developed, whereas convolutional neural networks (CNNs) have received less attention. One reason is that CNNs are considered poor in modeling the irregular skeleton topology. To alleviate this limitation, we propose a pure CNN architecture named Topology-aware CNN (Ta-CNN) in this paper. In particular, we develop a novel cross-channel feature augmentation module, which is a combo of map-attend-group-map operations. By applying the module to the coordinate level and the joint level subsequently, the topology feature is effectively enhanced. Notably, we theoretically prove that graph convolution is a special case of normal convolution when the joint dimension is treated as channels. This confirms that the topology modeling power of GCNs can also be implemented by using a CNN. Moreover, we creatively design a SkeletonMix strategy which mixes two persons in a unique manner and further boosts the performance. Extensive experiments are conducted on four widely used datasets, i.e. N-UCLA, SBU, NTU RGB+D and NTU RGB+D 120 to verify the effectiveness of Ta-CNN. We surpass existing CNN-based methods significantly. Compared with leading GCN-based methods, we achieve comparable performance with much less complexity in terms of the required GFLOPs and parameters.

연구 동기 및 목표

• 불규칙한 뼈대 구조를 모델링하는 데 있어 CNN의 한계로 인해 GCN에 비해 활용이 부족한 문제를 해결하기 위해.
• 관절을 채널로 간주할 경우 그래프 컨벌루션은 표준 컨벌루션의 특수한 경우임을 보여주어, CNN이 정점 구조를 효과적으로 모델링할 수 있음을 입증하기 위해.
• GCN 기반 모델과 경쟁 가능한 성능을 내면서도 계산 비용이 낮은 경량 순수 CNN 아키텍처를 설계하기 위해.
• 뼈대 시퀀스에 특화된 새로운 데이터 증강 전략인 SkeletonMix을 도입하여 일반화 및 강인성을 향상시키기 위해.

제안 방법

• 좌표 및 관절 특징을 향상시키기 위해 맵-어텐션-그룹-맵 연산을 조합한 크로스채널 특징 증강 모듈을 제안한다.
• 관절 상호작용을 모델링하기 위해 특징 매핑, 채널 어텐션, 이중 좌표 기반 컨벌루션을 적용하는 좌표 인식 그룹화(CAG) 모듈을 도입한다.
• 신체 부위 의미를 기반으로 특징을 그룹화하여 정점 구조를 더 잘 활용하는 가상부위 인식 그룹화(VAG) 모듈을 설계한다.
• 관절 차원을 채널로 간주할 경우 그래프 컨벌루션은 표준 컨벌루션의 특수한 경우임을 이론적으로 증명하여, CNN이 정점 구조 모델링에 사용될 수 있음을 정당화한다.
• 두 사람의 상체와 하체를 혼합하여 모odal리티 인식 방식으로 훈련 데이터를 증강하는 새로운 SkeletonMix 전략을 개발한다.
• 뼈대 시퀀스와 운동 정보를 처리하는 이중 스트림 아키텍처를 사용하며, 최종적으로 특징을 후기 융합하여 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 순수 CNN 모델이 인간 뼈대 데이터의 불규칙한 정점 구조를 효과적으로 학습하고 활용할 수 있는가?
• RQ2 관절을 채널로 간주할 경우 그래프 컨벌루션과 표준 컨벌루션 간에 이론적 동치성이 존재하는가?
• RQ3 접근 행렬에 의존하지 않고도 새로운 크로스채널 특징 증강 메커니즘이 CNN의 정점 구조 모델링을 향상시킬 수 있는가?
• RQ4 SkeletonMix와 같은 모달리티 특화 데이터 증강 전략이 뼈대 기반 행동 인식에서 일반화 및 성능 향상에 기여하는가?
• RQ5 경량 CNN 기반 모델이 복잡도를 크게 줄이며 무거운 GCN 기반 모델과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• N-UCLA 데이터셋에서 Ta-CNN은 97.2%의 최신 기술 수준 정확도를 기록하며, 이는 이전의 모든 CNN 기반 모델을 능가하고, 선도적인 GCN 기반 모델과도 맞먹거나 초월한다.
• SBU 데이터셋에서 Ta-CNN은 98.9%의 정확도를 달성하여 새로운 최신 기술 수준을 설정했으며, 이는 이전 방법들보다 모델 크기가 훨씬 작다.
• NTU RGB+D에서 Ta-CNN은 교차 참가자 설정에서 90.4%의 정확도를 기록하여, 기존의 모든 CNN 기반 모델을 능가하고, FLOPs와 파rameter 수가 더 낮은 수준에서 최고의 GCN 기반 모델과도 동등한 성능을 내었다.
• NTU RGB+D 120에서 Ta-CNN은 교차 참가자 설정에서 85.7%의 정확도를 기록하여 강력한 일반화 능력과 효율성을 입증했으며, 특히 무거운 GCN 기반 기준 모델에 비해 뛰어난 성능을 보였다.
• 제안된 SkeletonMix 전략은 모든 데이터셋에서 성능 향상을 이끌었으며, 일반적인 mixup 전략은 성능을 떨어뜨렸다. 이는 그 효과성과 모달리티 특화 설계의 타당성을 입증한다.
• 이론적 분석을 통해 관절을 채널로 간주할 경우 그래프 컨벌루션은 표준 컨벌루션의 특수한 경우임을 확인하였으며, 이는 CNN 기반 정점 구조 모델링의 기초를 마련한다.