[논문 리뷰] Hierarchical Contrast for Unsupervised Skeleton-based Action Representation Learning

Jianfeng Dong, Shengkai Sun외 4명|arXiv (Cornell University)|2022. 12. 05.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 시간적 및 공간적 도메인에서 다중 수준 특징을 학습하고 네 수준—개체, 도메인, 클립, 부분—간에 대조 학습을 수행하는 새로운 비지도 스켈레톤 기반 동작 표현 학습 프레임워크인 Hierarchical Contrast (HiCo)를 제안한다. HiCo는 네 가지 데이터셋에서 행동 인식 및 검색 작업에서 최고 성능을 기록하며, 저자원 또는 준지도 학습 환경에서도 뛰어난 전이 가능성과 효과성을 입증한다.

ABSTRACT

This paper targets unsupervised skeleton-based action representation learning and proposes a new Hierarchical Contrast (HiCo) framework. Different from the existing contrastive-based solutions that typically represent an input skeleton sequence into instance-level features and perform contrast holistically, our proposed HiCo represents the input into multiple-level features and performs contrast in a hierarchical manner. Specifically, given a human skeleton sequence, we represent it into multiple feature vectors of different granularities from both temporal and spatial domains via sequence-to-sequence (S2S) encoders and unified downsampling modules. Besides, the hierarchical contrast is conducted in terms of four levels: instance level, domain level, clip level, and part level. Moreover, HiCo is orthogonal to the S2S encoder, which allows us to flexibly embrace state-of-the-art S2S encoders. Extensive experiments on four datasets, i.e., NTU-60, NTU-120, PKU-MMD I and II, show that HiCo achieves a new state-of-the-art for unsupervised skeleton-based action representation learning in two downstream tasks including action recognition and retrieval, and its learned action representation is of good transferability. Besides, we also show that our framework is effective for semi-supervised skeleton-based action recognition. Our code is available at https://github.com/HuiGuanLab/HiCo.

연구 동기 및 목표

• 기존의 대조 학습 방법이 스켈레톤 기반 행동 인식에서 일반적으로 전체 개체 수준의 대조만 수행하고 인간 스켈레톤의 계층적 구조를 활용하지 못하는 한계를 해결하기 위해.
• 이중 브랜치 인코더 아키텍처를 통해 스켈레톤을 부분 수준, 클립 수준, 도메인 수준, 개체 수준 등 다양한 해상도에서 모델링하여 비지도 표현 학습을 향상시키기 위해.
• 인간 운동의 본질적인 계층적 성질에 부합하는 네 가지 별도 수준—개체 수준, 도메인 수준, 클립 수준, 부분 수준—에서 계층적 대조 학습을 적용하여 특징의 구분 능력을 향상시키기 위해.
• 행동 인식 및 검색과 같은 후속 작업에 대해 학습된 표현의 강력한 전이 가능성 확보를 위해, 자원이 제한된 환경이나 준지도 설정에서도 효과적으로 기능하도록 하기 위해.

제안 방법

• HiCo는 시간 모델링을 위한 하나의 브랜치(다양한 길이의 스켈레톤 시퀀스를 처리)와 공간 모델링을 위한 다른 하나의 브랜치(다른 크기의 신체 부위에서 특징 추출)를 갖는 이중 브랜치 인코더 네트워크를 사용한다.
• 프레임워크는 순차적-순차적(S2S) 인코더와 통합된 다운샘플링 모듈을 사용하여 시간적 및 공간적 도메인에서 다중 해상도 특징을 생성한다.
• 계층적 대조는 네 수준에서 수행된다: 개체 수준(다른 스켈레톤 시퀀스 간), 도메인 수준(다른 데이터 분할 간), 클립 수준(시간 클립 내부), 부분 수준(공간적 신체 부위 내부).
• 이 방법은 S2S 인코더와 수직적 관계를 유지하므로, 트랜스포머와 같은 최첨단 인코더와 통합 가능하며, 유연한 아키텍처 설계를 지원한다.
• 각 수준에서 대조 손실이 적용되며, 점진적인 정밀화 과정이 진행된다: 부분 수준 특징이 클립 수준으로 조합되고, 그 다음 도메인 수준으로, 마지막으로 개체 수준 표현으로 통합된다.
• 데이터 증강을 통해 대조 학습을 위한 양성 쌍을 생성하고, 프레임워크는 비지도 방식으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 기존의 개체 수준 대조에 비해, 다양한 해상도에서의 계층적 대조 학습이 비지도 스켈레톤 기반 행동 표현 학습에 개선을 이끌 수 있는가?
• RQ2 시간적 및 공간적 다중 수준 표현의 통합이 특징의 구분 능력 향상과 모델 일반화 능력 향상에 어떻게 기여하는가?
• RQ3 제안된 HiCo 프레임워크가 다양한 데이터셋에서 행동 인식 및 검색과 같은 후속 작업에 얼마나 잘 일반화되는가?
• RQ4 라벨이 부족한 저자원 또는 준지도 학습 환경에서 HiCo는 얼마나 효과적인가?

주요 결과

• HiCo는 NTU-60, NTU-120, PKU-MMD I, PKU-MMD II 네 가지 벤치마크 데이터셋에서 행동 인식 및 검색 작업에서 최고 성능을 기록했으며, 이는 이전 비지도 방법보다 정확도 향상을 보였다.
• NTU-60 데이터셋에서 x-sub 프로토콜 하에 HiCo-Transformer는 81.1%의 정확도를 달성하여 이전 최고 성능 방법(CrosSCLR)보다 1.4%p 높였다.
• 전이 학습에서, HiCo는 NTU-60에서 사전 훈련한 후 PKU-MMD II에서 56.3%의 정확도를 기록했으며, 이는 LongT GAN(44.8%) 및 ISC(45.9%)와 비교해 뚜렷한 우수성을 보였다.
• NTU-60에서 라벨이 1% 밖에 없는 준지도 학습 환경에서도 HiCo-Transformer는 54.4%의 정확도를 기록했으며, 파라미터 수가 더 많은 모든 베이스라인을 초월했다.
• 제거 실험 결과 계층적 대조가 필수적임을 확인했다: 도메인 수준 및 클립&부분 수준 대조를 점진적으로 추가할수록 성능 향상이 지속되었으며, 네 수준 모두를 포함한 전체 대조가 최고의 성능를 기록했다.
• 이중 브랜치 구조(시간적 및 공간적)는 단일 브랜치 변종보다 더 효과적이었으며, 시간적 동적 특징과 공간적 신체 부위 구조를 동시에 모델링함으로써 상호 보완적 이점을 제공함을 입증했다.