[논문 리뷰] Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition

Yuxin Chen, Ziqi Zhang외 4명|arXiv (Cornell University)|2021. 07. 26.

Human Pose and Action Recognition참고 문헌 33인용 수 49

한 줄 요약

CTR-GC는 공유 토폴로지를 정교화하여 채널별 토폴로지를 동적으로 학습하고, 뼈대 기반 동작 인식에서 더 유연한 특징 집계를 가능하게 한다; CTR-GCN에 결합되면 NTU RGB+D, NTU RGB+D 120, NW-UCLA에서 최첨단 결과를 달성한다.

ABSTRACT

Graph convolutional networks (GCNs) have been widely used and achieved remarkable results in skeleton-based action recognition. In GCNs, graph topology dominates feature aggregation and therefore is the key to extracting representative features. In this work, we propose a novel Channel-wise Topology Refinement Graph Convolution (CTR-GC) to dynamically learn different topologies and effectively aggregate joint features in different channels for skeleton-based action recognition. The proposed CTR-GC models channel-wise topologies through learning a shared topology as a generic prior for all channels and refining it with channel-specific correlations for each channel. Our refinement method introduces few extra parameters and significantly reduces the difficulty of modeling channel-wise topologies. Furthermore, via reformulating graph convolutions into a unified form, we find that CTR-GC relaxes strict constraints of graph convolutions, leading to stronger representation capability. Combining CTR-GC with temporal modeling modules, we develop a powerful graph convolutional network named CTR-GCN which notably outperforms state-of-the-art methods on the NTU RGB+D, NTU RGB+D 120, and NW-UCLA datasets.

연구 동기 및 목표

• 모션 특징의 채널별 변이를 고려하여 뼈대 기반 동작 인식에서 토폴로지 모델링을 개선하려는 동기를 제시한다.
• 각 채널에 대해 채널-특정 상관관계로 공유 토폴로지를 정교화하기 위해 CTR-GC를 제안한다.
• CTR-GC가 CTR-GCN 백본에 통합되어 우수한 성능을 달성할 수 있음을 보여준다.

제안 방법

• 채널별 토폴로지를 공유 인접 행렬 A를 채널-특정 상관관계 Q로 정교화하여 R을 생성하는 방식으로 모델링한다.
• M1 또는 M2 상관관계 모델링 함수를 사용하여 관절 특징의 축소 표현으로부터 채널별 관계를 계산한다.
• R = A + alpha * Q로 A를 R로 정교화하고 채널별 그래프에서 채널별 집계를 수행하여 Z를 생성한다.
• 네 가지 그래프 컨볼루션 스타일을 공통 형식으로 통일하여 CTR-GC가 특정 제약을 완화하고 표현력을 강화함을 주장한다.
• 뼈대 시퀀스 동작 인식을 위해 CTR-GC 블록과 함께 시간 모델링 모듈 및 잔차 연결로 CTR-GCN을 구성한다.

Figure 1: Channel-wise topology refinement. Lines of different colors correspond to topologies in different channels and the thickness of lines indicates the correlation strength between joints.

실험 결과

연구 질문

• RQ1 공유 토폴로지의 채널별 정교화가 뼈대 기반 동작 인식을 위한 그래프 컨볼루션의 표현력을 향상시킬 수 있는가?
• RQ2 공유 토폴로지(A)와 함께 채널-특정 상관관계(Q)를 포함시키는 것이 정적/공유 가능한 토폴로지 대비 측정 가능한 이득을 가져오는가?
• RQ3 NTU RGB+D, NTU RGB+D 120, NW-UCLA 데이터셋에서 CTR-GCN의 성능은 최첨단 방법과 어떻게 비교되는가?

주요 결과

• CTR-GC는 비교 가능한 매개변수 및 계산 비용으로 다른 그래프 컨볼루션보다 현저히 높은 성능을 보인다.
• CTR-GCN은 NTU RGB+D, NTU RGB+D 120, NW-UCLA 데이터셋에서 최첨단 방법을 능가한다.
• 변수 제거 실험에서 채널-특정 상관관계(Q) 또는 공유 토폴로지 정교화(A)를 제거하면 성능이 저하됨을 보여 주며, 채널-별 토폴로지 정교화의 중요성을 강조한다.
• 상관관계 모델링 함수(M1, M2)와 축소 비율 r의 다양한 구성은 일관되게 베이스라인보다 우수하며, CTR-GC의 강건성과 효과를 입증한다.

Figure 2: Framework of the proposed channel-wise topology refinement graph convolution. The channel-wise topology modeling refines the trainable shared topology with inferred channel-specific correlations. The feature transformation aims at transforming input features into high-level representations