[논문 리뷰] Hierarchical Consistent Contrastive Learning for Skeleton-Based Action Recognition with Growing Augmentations

Jiahang Zhang, Lilang Lin외 1명|arXiv (Cornell University)|2022. 11. 24.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 3D 스켈레톤 기반 동작 인식을 위한 계층적 일致한 대비 학습 프레임워크인 HiCLR을 제안한다. 이는 점차 강화되는 증강 정책을 사용하여 점진적으로 강한 증강을 적용하면서, 비대칭 손실을 통해 계층적 일치성을 강제한다. 이 방법은 GCN 및 트랜스포머 백본을 모두 사용할 수 있으며, 선형, KNN, 준지도 및 지도 평가 프로토콜 모두에서 NTU60, NTU120, PKUMMD에서 기존 최고 성능(SOTA)을 크게 뛰어넘는 결과를 달성한다.

ABSTRACT

Contrastive learning has been proven beneficial for self-supervised skeleton-based action recognition. Most contrastive learning methods utilize carefully designed augmentations to generate different movement patterns of skeletons for the same semantics. However, it is still a pending issue to apply strong augmentations, which distort the images/skeletons' structures and cause semantic loss, due to their resulting unstable training. In this paper, we investigate the potential of adopting strong augmentations and propose a general hierarchical consistent contrastive learning framework (HiCLR) for skeleton-based action recognition. Specifically, we first design a gradual growing augmentation policy to generate multiple ordered positive pairs, which guide to achieve the consistency of the learned representation from different views. Then, an asymmetric loss is proposed to enforce the hierarchical consistency via a directional clustering operation in the feature space, pulling the representations from strongly augmented views closer to those from weakly augmented views for better generalizability. Meanwhile, we propose and evaluate three kinds of strong augmentations for 3D skeletons to demonstrate the effectiveness of our method. Extensive experiments show that HiCLR outperforms the state-of-the-art methods notably on three large-scale datasets, i.e., NTU60, NTU120, and PKUMMD.

연구 동기 및 목표

• 자기지도 학습 기반 스켈레톤 동작 인식에서 강한 데이터 증강으로 인한 안정성 저하와 성능 저하 문제를 해결하기 위해.
• 의미적 일致성을 훼손하지 않으면서 강력한 증강을 체계적으로 활용하여 표현 학습을 향상시키기 위해.
• 다양한 증강 수준을 비대칭적으로 처리하는 대비 학습 프레임워크를 설계하여, 약한 시각에서 강한 시각으로 향하는 계층적 일치를 우선시하기 위해.
• 제안된 방법이 다양한 백본(GCN 및 트랜스포머)과 평가 프로토콜에서 효과적임을 입증하기 위해.
• 기존 방법들을 능가하는 일반화 가능하고 확장 가능한 자기지도 스켈레톤 표현 학습 프레임워크를 제공하기 위해.

제안 방법

• 약한 증강에서 강한 증강으로 점차 강도가 증가하는 방식으로 순서가 지정된 다수의 양의 쌍을 생성하기 위해 점진적 증강 정책을 설계하였다.
• 강한 증강 시각에서의 특징을 약한 증강 시각의 특징에 가까워지게 하여 계층적 일치성을 강제하기 위해 비대칭 손실 함수를 도입하였다.
• 특징 공간 내에서 방향성 클러스터링을 사용하여, 증강의 계층적 구조 전반에서 일관된 표현을 학습하도록 모델을 이끌었다.
• 표현 다양성을 향상시키기 위해 3D 스켈레톤을 위한 세 가지 새로운 강력한 증강 기법을 제안하고 평가하였다: Random Mask, Jitter, Drop-Connect.
• GCN 및 트랜스포머 백본 모두와 호환 가능하여 다양한 아키텍처에 넓은 적용 가능성을 확보하였다.
• 계층적 양의 쌍과 비대칭 대비 학습을 통합한 훈련 파이프라인을 통해 훈련 안정성 향상과 일반화 능력 향상을 달성하였다.

실험 결과

연구 질문

• RQ1 자기지도 학습 기반 스켈레톤 동작 인식에서 강한 데이터 증강을 의미적 왜곡이나 훈련 불안정성 없이 효과적으로 활용할 수 있는가?
• RQ2 점차적으로 강화되는 증강 시각 간의 계층적 일치성을 어떻게 강제하여 표현 품질을 향상시킬 수 있는가?
• RQ3 강한 증강을 약한 증강에 맞추는 비대칭 학습 방식이 최종 동작 인식 성능에 미치는 영향은 무엇인가?
• RQ4 선형, KNN, 준지도, 지도 평가 프로토콜 등 다양한 평가 프로토콜에서 기존 대비 학습 방법과 비교해 제안된 프레임워크는 어떻게 성능을 내는가?
• RQ5 GCN 및 트랜스포머와 같은 다양한 백본 아키텍처 간에서 일반화 가능하며, SOTA 성능을 유지할 수 있는가?

주요 결과

• NTU60 xsub 및 xview 프로토콜에서 각각 88.3% 및 93.2%의 상위 1위 정확도를 기록하여 이전 SOTA 방법을 뛰어넘었다.
• NTU120 데이터셋에서 xsub 및 xset 프로토콜에서 각각 85.6% 및 87.5%의 정확도를 달성하여 새로운 SOTA 기준을 수립했다.
• 학습 데이터의 1%만을 사용하는 준지도 학습 환경에서 xsub 및 xview에서 각각 84.0% 및 84.8%의 정확도를 기록하여 이전 방법들보다 크게 뛰어났다.
• 모델 파rameter의 1%만으로도 더 큰 트랜스포머 기반 모델들과 비교해 유사하거나 뛰어난 성능을 달성하여 높은 효율성을 입증했다.
• KNN 평가에서 SkeletonCLR 및 AimCLR와 같은 기준 방법들보다 10-15% 향상되어 더 분류 능력이 뛰어난 특징 공간을 형성함을 시사했다.
• 지도, 선형, KNN 설정을 포함한 모든 평가 프로토콜에서 일관되게 최고 성능을 기록하며 기존 최고 성능 방법들을 능가했다.