[논문 리뷰] Skeleton Cloud Colorization for Unsupervised 3D Action Representation Learning

Siyuan Yang, Jun Liu외 3명|arXiv (Cornell University)|2021. 08. 04.

Human Pose and Action Recognition참고 문헌 54인용 수 15

한 줄 요약

이 논문은 레이블이 없는 뼈대 시퀀스를 인위적인 시간적, 공간적, 개인 수준의 색상 레이블을 가진 3D 점군으로 변환함으로써 비지도 학습을 통한 3D 동작 표현 학습을 위한 뼈대 클라우드 색상화 기법을 제안한다. 이 방법은 점군 오토에인코더를 사용하여 구분 가능한 시공간 특징을 학습하며, 비지도 및 준지도 설정에서 최신 기술 수준의 성능을 달성하고, NTU RGB+D 및 NW-UCLA 데이터셋에서 지도 학습 동작 인식에서도 경쟁력 있는 결과를 보였다.

ABSTRACT

Skeleton-based human action recognition has attracted increasing attention in recent years. However, most of the existing works focus on supervised learning which requiring a large number of annotated action sequences that are often expensive to collect. We investigate unsupervised representation learning for skeleton action recognition, and design a novel skeleton cloud colorization technique that is capable of learning skeleton representations from unlabeled skeleton sequence data. Specifically, we represent a skeleton action sequence as a 3D skeleton cloud and colorize each point in the cloud according to its temporal and spatial orders in the original (unannotated) skeleton sequence. Leveraging the colorized skeleton point cloud, we design an auto-encoder framework that can learn spatial-temporal features from the artificial color labels of skeleton joints effectively. We evaluate our skeleton cloud colorization approach with action classifiers trained under different configurations, including unsupervised, semi-supervised and fully-supervised settings. Extensive experiments on NTU RGB+D and NW-UCLA datasets show that the proposed method outperforms existing unsupervised and semi-supervised 3D action recognition methods by large margins, and it achieves competitive performance in supervised 3D action recognition as well.

연구 동기 및 목표

• 지난 지도 학습 기반 3D 동작 인식에서 높은 레이블링 비용 문제를 해결하기 위해, 레이블이 없는 뼈대 시퀀스에서 비지도 표현 학습을 가능하게 한다.
• 기존 비지도 방법들이 재구성 기반 자기지도 학습에 의존하는 데서 비롯되는 한계를 극복하여 풍부한 시공간 역동성을 포착하지 못하는 문제를 해결한다.
• 수동 레이블링이 필요 없이 시간적 및 공간적 순서 정보를 인코딩하는 새로운 자기지도 신호인 뼈대 클라우드 색상화를 설계한다.
• 제안된 색상화 기반 표현 학습이 비지도, 준지도, 완전 지도 설정 전반에 걸쳐 일반화 가능하며 뛰어난 성능을 보임을 입증한다.

제안 방법

• 모든 프레임의 관절 좌표를 통합하여 3D 뼈대 시퀀스를 3D 뼈대 클라우드로 표현한다.
• 세 가지 별도의 색상 체계를 사용해 뼈대 클라우드의 각 점을 색상화한다: 시간 순서(시간 단계), 공간 순서(관절 인덱스), 개인 수준의 신원.
• 각각의 뼈대 클라우드 색상화 버전을 처리하는 3개의 병렬 인코더-디코더 브랜치를 갖춘 점군 기반 오토에인코더를 훈련시켜 시공간 특징을 학습한다.
• 재구성된 점군과 색상 레이블을 자기지도 학습 신호로 사용하여 인코더를 비지도로 사전 훈련한다.
• 준지도 및 지도 학습 설정에서 제한된 레이블 데이터를 사용해 선형 분류기로 사전 훈련된 인코더를 미세 조정한다.
• 색상화 비율을 균형 잡기 위해 점군의 일부(예: 50%)를 재색상화하여 과적합을 방지하면서도 효과적인 특징 학습을 보장한다.

실험 결과

연구 질문

• RQ1 뼈대 클라우드 색상화는 비지도 3D 동작 표현 학습을 위한 효과적인 자기지도 신호가 될 수 있는가?
• RQ2 기존의 비지도 및 준지도 3D 동작 인식 접근법과 비교할 때 정확도 및 일반화 능력 측면에서 제안된 방법은 어떠한가?
• RQ3 시간적, 공간적, 개인 수준의 색상화가 기준 방법 대비 특징 학습에 얼마나 기여하는가?
• RQ4 이 방법이 비지도 사전 훈련한 특징는 완전 지도 학습 설정에서도 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 제안된 뼈대 클라우드 색상화 방법은 NTU RGB+D 및 NW-UCLA 데이터셋에서 최신 기술 수준의 비지도 및 준지도 3D 동작 인식 방법을 초월한다.
• NTU RGB+D 데이터셋(크로스 서브젝트 설정)에서 50%의 뼈대 클라우드 점이 색상화된 경우 비지도 학습에서 71.6%의 정확도를 달성한다.
• 1%의 레이블 데이터만을 사용하는 준지도 학습 설정에서 기존의 비지도 사전 훈련 기반 방법을 크게 능가하며 뛰어난 성능을 보인다.
• 완전 지도 학습 설정에서도 제안된 방법은 최신 기술 수준의 지도 학습 방법과 비교해 경쟁력 있는 성능을 보이며, 학습된 표현의 품질을 입증한다.
• 절단 분석 결과, 세 가지 색상화 스트림(시간적, 공간적, 개인 수준) 모두 성능 향상에 기여하며, 특히 시간적 및 공간적 색상화가 뛰어난 효과를 보였다.
• 색상화 비율에 대해 유연하게 대응 가능하며, 성능가장 높은 50%의 색상화 점 비율에서 최적의 성능를 보이며, 신호 강도와 학습 효율성 사이의 유리한 트레이드오프를 보여준다.