[논문 리뷰] Actionlet-Dependent Contrastive Learning for Unsupervised Skeleton-Based Action Recognition

Lilang Lin, Jiahang Zhang외 1명|arXiv (Cornell University)|2023. 03. 20.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 자율적으로 운동과 정적 영역을 모델링하기 위해 비지도 행동절단(unsupervised actionlets)을 채굴하는 자기지도 대비 학습 방법 ActCLR를 제안한다. 행동절단은 운동을 나타내는 구조적 뼈대 하위집합으로, 평균 운동 기준으로 시퀀스를 대비함으로써 행동절단을 식별한다. 이 방법은 운동에 민감한 관절의 과다 증강을 방지하기 위해 운동 적응형 데이터 증강과 의미 인식 특징 풀링을 적용하여 NTU RGB+D와 PKUMMD에서 지도 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The self-supervised pretraining paradigm has achieved great success in skeleton-based action recognition. However, these methods treat the motion and static parts equally, and lack an adaptive design for different parts, which has a negative impact on the accuracy of action recognition. To realize the adaptive action modeling of both parts, we propose an Actionlet-Dependent Contrastive Learning method (ActCLR). The actionlet, defined as the discriminative subset of the human skeleton, effectively decomposes motion regions for better action modeling. In detail, by contrasting with the static anchor without motion, we extract the motion region of the skeleton data, which serves as the actionlet, in an unsupervised manner. Then, centering on actionlet, a motion-adaptive data transformation method is built. Different data transformations are applied to actionlet and non-actionlet regions to introduce more diversity while maintaining their own characteristics. Meanwhile, we propose a semantic-aware feature pooling method to build feature representations among motion and static regions in a distinguished manner. Extensive experiments on NTU RGB+D and PKUMMD show that the proposed method achieves remarkable action recognition performance. More visualization and quantitative experiments demonstrate the effectiveness of our method. Our project website is available at https://langlandslin.github.io/projects/ActCLR/

연구 동기 및 목표

• 기존 자기지도 뼈대 방법이 운동 영역과 정적 영역을 동일하게 취급하는 한계를 해결함으로써, 운동에 민감한 관절의 과다 증강으로 인한 성능 저하를 방지하고자 한다.
• 전체 학습 시퀀스의 평균 운동과 대비하여 비지도로 행동절단(운동을 나타내는 구조적 뼈대 하위집합)을 식별함으로써, 행동 레이블이 없이도 행동절단의 자율적 탐지를 가능하게 한다.
• 운동에 적응하는 데이터 변환 전략을 설계하여, 비행동절단 영역에만 강한 증강을 적용함으로써 운동 의미를 유지하고자 한다.
• 행동절단 영역에 집중하면서 정적 관절의 간섭을 최소화함으로써 운동 표현을 향상시키는 의미 인식 특징 풀링 기법을 개발하고자 한다.
• 운동 영역과 정적 영역을 분리함으로써 자기지도 행동 인식에서 일반화 능력과 강건성 향상이 가능함을 입증하고자 한다.

제안 방법

• 각 뼈대 시퀀스를 전체 학습 시퀀스의 평균 운동과 대비하여 비지도로 행동절단을 채굴하며, 최대 이탈을 보이는 영역을 운동 지배 영역로 식별한다.
• 평균 운동 시퀀스는 정적 기준으로 기능하며, 행동 레이블 없이도 행동절단의 비지도 식별을 가능하게 한다.
• 운동에 적응하는 데이터 증강 전략은 비행동절단 영역에만 강한 변환(예: 노이즈, 마스킹)을 적용하여 운동 영역의 의미 일관성을 유지한다.
• 의미 인식 특징 풀링은 행동절단 영역과 비행동절단 영역에서 별도로 특징을 추출하고 집계함으로써 운동 표현을 향상시킨다.
• 대비 학습 목표는 동일 시퀀스에 대해 다양한 증강을 적용한 양성 쌍을 사용하여 최적화되며, 행동절단 유도 전략이 특징 분류 능력을 향상시킨다.
• 유사도 채굴 손실은 특징 공간을 정규화하여 행동 클래스의 더 나은 클러스터링을 촉진한다.

실험 결과

연구 질문

• RQ1 뼈대 시퀀스에서 비지도로 행동절단을 채굴함으로써 자기지도 대비 학습의 성능 향상이 가능할까?
• RQ2 비행동절단 영역에만 적용되는 운동 적응형 데이터 증강 전략이 더 나은 특징 학습과 강건성을 제공할까?
• RQ3 행동절단 영역을 강조하는 의미 인식 특징 풀링이 전역 풀링 대비 성능 향상에 기여할까?
• RQ4 운동 영역과 정적 영역을 분리함으로써 자기지도 뼈대 기반 행동 인식의 일반화 능력과 정확도에 어떤 영향을 미칠까?
• RQ5 전체 관절에 동일한 증강을 적용하는 것보다 제안된 방법이 증강 노이즈에 더 강건한가?

주요 결과

• NTU RGB+D 60 x-views 벤치마크에서 ActCLR는 자기지도 사전학습만으로 78.04%의 KNN 정확도와 86.79%의 선형 프로브 정확도를 달성한다.
• PKUMMD에서 ActCLR는 74.31%의 KNN 정확도와 83.52%의 선형 프로브 정확도를 기록하여 최신 자기지도 방법들을 능가한다.
• 운동에 적응하는 변환 전략은 노이즈 하에서 성능 저하를 감소시킨다: 노이즈 강도 0.1일 때 비행동절단 영역의 정확도는 1.33% 감소하는 데 반해, 전체 영역 증강은 2.32% 감소한다.
• 의미 인식 특징 풀링은 오프라인 적용 시 KNN 정확도를 1.66% 향상시켜, 운동 표현 향상에 효과적임을 입증한다.
• 제거 실험 결과 행동절단 영역만으로도 76.38%의 KNN 정확도를 달성하여 전체 뼈대 특징과 유사한 성능를 보이며, 비행동절단 영역은 오직 67.50%의 정확도를 기록함으로써 행동절단이 주요 운동 신호를 포착하고 있음을 증명한다.
• 시각화 결과 행동절단이 운동 지배 관절(예: '던지기' 동작에서 손)에 국한되어 있음을 확인하여, 행동절단이 분류 가능하고 시공간적 성격을 지님을 검증한다.