[논문 리뷰] Subspace clustering for action recognition with covariance representations and temporal pruning

Cigdem Beyan|arXiv (Cornell University)|2021. 01. 01.

Human Pose and Action Recognition참고 문헌 63인용 수 34

한 줄 요약

이 논문은 인간 행동 인식을 위한 비지도 하위공간 군집화 프레임워크를 제안하며, 공분산 표현과 시간적 프루닝을 활용하여 판별력을 향상시키고 순차적 데이터를 처리한다. 뼈대 시계열을 공분산 행렬로 인코딩하고, 시간적 프루닝을 적용한 희소 하위공간 군집화를 적용함으로써, 비지도 접근 방식 중 최고 성능을 달성하며 여러 벤치마크에서 지도 학습 방법과의 격차를 좁힌다.

ABSTRACT

This paper tackles the problem of human action recognition, defined as classifying which action is displayed in a trimmed sequence, from skeletal data. Albeit state-of-the-art approaches designed for this application are all supervised, in this paper we pursue a more challenging direction: solving the problem with unsupervised learning. To this end, we propose a novel subspace clustering method, which exploits covariance matrix to enhance the action's discriminability and a times-tamp pruning approach that allow us to better handle the temporal dimension of the data. Through a broad experimental validation, we show that our computational pipeline surpasses existing unsupervised approaches but also can result in favorable performances as compared to the supervised methods. The code is available here: https://github.com/IIT-PAVIS/subspace-clustering-action-recognition

연구 동기 및 목표

• 비용이 많이 드는 수동 레이블링을 피하기 위해 완전히 비지도 방식으로 인간 행동 인식을 해결하기 위해.
• 공분산 표현을 통해 판별력을 향상시켜 뼈대 시계열에 대한 하위공간 군집화 성능을 향상시키기 위해.
• 행동 시계열의 시간 복잡도를 줄이기 위해 덜 정보적인 타임스탬프를 프루닝하기 위해.
• 비지도 방법이 지도 학습 SOTA 방법과 비교해도 경쟁력 있는 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 두 번째 순서 통계를 인코딩하고 특징의 판별력을 향상시키기 위해 뼈대 관절 궤적에서 공분산 행렬을 계산한다.
• 희소 하위공간 군집화(SSC)를 통해 시간적 프루닝을 적용하여 대표적인 타임스탬프를 선택함으로써 시계열 길이를 고정된 지속시간으로 줄인다.
• 자기표현 모델과 시간적 라플라시안 정규화를 사용하여 공분산 인코딩과 하위공간 군집화를 결합한다.
• 두 가지 변형을 평가함: (1) temporalSSC는 군집화 이전에 타임스탬프를 프루닝하고, (2) TSC 기반 방법은 사전 학습과 시간 정규화를 사용한다.
• 다양한 행동 유형, 클래스 수, 캡처 프로토콜을 가진 여덟 가지 다양한 데이터셋에서 파이프라인을 평가한다.
• 군집화 정확도를 사용하여 성능을 평가하며, 비지도 기준선 및 지도 학습 SOTA 방법과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 공분산 표현은 뼈대 데이터에서 비지도 행동 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 하위공간 군집화를 통한 시간적 프루닝은 행동 시계열의 노이즈와 중복을 줄여 군집화 정확도를 향상시키는가?
• RQ3 비지도 하위공간 군집화 파이프라인은 지도 학습 SOTA 방법과 경쟁하거나 그에 미치는 성능을 달성할 수 있는가?
• RQ4 다양한 데이터셋에서 백분율 기반 vs. 임계값 기반의 시간적 프루닝 전략이 군집 결과에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 여덟 개 데이터셋 평균 군집화 정확도 88.32%를 달성하여 모든 비지도 기준선을 능가한다.
• MSRC 데이터셋에서 99.00%의 정확도를 기록하며, 지도 학습 SOTA인 98.50%를 초월한다.
• SSC를 통한 시간적 프루닝은 데이터셋 평균 성능을 최대 8% 향상시키며, 가장 큰 데이터셋(MSRC)에서는 21% 향상되었다.
• 사전 학습과 시간적 라플라시안 정규화를 사용한 TSC 기반 방법이 전체 비지도 성능에서 가장 우수했으며, 평균 정확도 89.81%를 기록했다.
• 여덟 데이터셋 중 다섯 곳에서 EnSC 기반 방법이 다른 모든 비지도 접근 방식보다 약 5% 높은 성능을 기록했다.
• 놀랍게도, 비지도 파이프라인이 MSRC와 MSRP에서 지도 학습 SOTA를 초월하여, 비지도 학습이 행동 인식(HAR)에서 잠재력을 지닌다는 것을 보여주었다.