[논문 리뷰] Graph Contrastive Learning for Skeleton-based Action Recognition

Xiaohu Huang, Hao Zhou외 8명|arXiv (Cornell University)|2023. 01. 26.

Human Pose and Action Recognition인용 수 13

한 줄 요약

SkeletonGCL은 인스턴스- 및 시맨틱 수준 메모리 뱅크를 갖춘 교차 시퀀스 그래프 대조 학습을 도입하여 그래프 표현을 클래스 구분 가능하게 만들고, 추가 테스트 시 비용 없이 NTU60/NTU120/NW-UCLA에서 GCN 기반 골격 행동 인식을 향상시킴.

ABSTRACT

In the field of skeleton-based action recognition, current top-performing graph convolutional networks (GCNs) exploit intra-sequence context to construct adaptive graphs for feature aggregation. However, we argue that such context is still extit{local} since the rich cross-sequence relations have not been explicitly investigated. In this paper, we propose a graph contrastive learning framework for skeleton-based action recognition ( extit{SkeletonGCL}) to explore the extit{global} context across all sequences. In specific, SkeletonGCL associates graph learning across sequences by enforcing graphs to be class-discriminative, \emph{i.e.,} intra-class compact and inter-class dispersed, which improves the GCN capacity to distinguish various action patterns. Besides, two memory banks are designed to enrich cross-sequence context from two complementary levels, \emph{i.e.,} instance and semantic levels, enabling graph contrastive learning in multiple context scales. Consequently, SkeletonGCL establishes a new training paradigm, and it can be seamlessly incorporated into current GCNs. Without loss of generality, we combine SkeletonGCL with three GCNs (2S-ACGN, CTR-GCN, and InfoGCN), and achieve consistent improvements on NTU60, NTU120, and NW-UCLA benchmarks. The source code will be available at \url{https://github.com/OliverHxh/SkeletonGCL}.

연구 동기 및 목표

• 교본적 GCN에서 골격 기반 행동 인식의 클래스 모호한 그래프 표현을 극복하기 위해 교차 시퀀스 글로벌 컨텍스트의 활용을 동기화한다.
• 학습 그래프의 intra-class 응집력과 inter-class 확산을 강화하기 위해 SkeletonGCL을 제안한다.
• 그래프 대조 학습을 위한 교차 시퀀스 컨텍스트를 풍부하게 하기 위해 인스턴스-레벨 메모리 뱅크와 시맨틱-레벨 메모리 뱅크를 설계한다.

제안 방법

• 각 골격 시퀀스를 GCN 인코더로 처리하여 분류를 위한 특징 벡터와 그래프 대조를 위한 학습된 그래프를 얻는다.
• 학습된 그래프를 그래프 프로젝션 헤드를 통해 벡터에 임베딩하여 교차 시퀀스 대조를 가능하게 한다.
• 두 개의 메모리 뱅크를 구성한다: 시퀀스별 그래프를 저장하는 인스턴스-레벨 뱅크와 클래스 집계 그래프를 저장하는 시맨틱-레벨 뱅크.
• InfoNCE 기반 대조 손실을 사용하여 동일 클래스의 그래프 표현을 함께 끌어당기고 서로 다른 클래스의 그래프 표현을 서로 떨어뜨리되, 두 메모리 뱅크 간에도 적용한다.
• 인스턴스 메모리는 FIFO 방식으로 업데이트하고, 시맨틱 메모리는 타임스탬프 간 모멘텀 업데이트로 갱신한다.
• SkeletonGCL을 기존 GCN(2S-AGCN, CTR-GCN, InfoGCN)과 결합하고 사전 학습 없이 끝-to-end로 완전 감독 학습으로 학습한다.

실험 결과

연구 질문

• RQ1 교차 시퀀스 그래프 학습이 intra-sequence 그래프를 넘어 행동 패턴의 식별 가능성을 향상시킬 수 있는가?
• RQ2 인스턴스-레벨과 시맨틱-레벨 메모리가 그래프 기반 대조 학습을 보완하는 맥락을 제공하는가?
• RQ3 SkeletonGCL이 여러 GCN 백본 및 표준 골격 행동 데이터셋과 호환되는가?

주요 결과

• SkeletonGCL은 NTU60, NTU120, NW-UCLA에서 2S-AGCN, CTR-GCN, InfoGCN과 함께 사용할 때 일관된 개선을 보인다.
• 인스턴스- 및 시맨틱-레벨 메모리 뱅크 모두 성능 향상에 기여하며, 둘 다 함께 사용할 때 최상의 결과를 낸다.
• 그래프 대조는 그래프가 포착하는 고차 구조 정보를 통해 특징 만으로의 대조보다 이점을 제공한다.
• 배치 간 그래프 대조(교차 시퀀스)가 배치 내 대조보다 우수하여 교차 시퀀스 컨텍스트가 더 풍부하다는 것을 시사한다.
• 학습 비용은 중간 수준으로 증가하고(2.6%–7.0%), 테스트 시 비용은 추가되지 않는다.
• 정량적 분석은 올바른 분류에서 intra-class 그래프 표현이 더 응집되고 inter-class 표현이 더 분산된다는 것을 보여준다.