[논문 리뷰] Unsupervised Human Action Recognition with Skeletal Graph Laplacian and Self-Supervised Viewpoints Invariance

G Paoletti, Jacopo Cavazza외 2명|arXiv (Cornell University)|2022. 04. 21.

Human Pose and Action Recognition인용 수 10

한 줄 요약

이 논문은 시점에 영향을 받지 않는 뼈대 표현을 학습하기 위해 그래프 라플라시안 정규화를 적용한 컨volution 오토에인코더를 사용하는 비지도 인간 동작 인식 방법을 제안한다. 자기지도 학습 기반의 기울기 반전 레이어를 통한 시점 불변성과 재구성 공간 내 라플라시안 정규화를 융합함으로써, NTU-60 및 NTU-120 데이터셋에서 기존 비지도 방법을 뛰어넘고 일부 지도 학습 방법과도 경쟁하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents a novel end-to-end method for the problem of skeleton-based unsupervised human action recognition. We propose a new architecture with a convolutional autoencoder that uses graph Laplacian regularization to model the skeletal geometry across the temporal dynamics of actions. Our approach is robust towards viewpoint variations by including a self-supervised gradient reverse layer that ensures generalization across camera views. The proposed method is validated on NTU-60 and NTU-120 large-scale datasets in which it outperforms all prior unsupervised skeleton-based approaches on the cross-subject, cross-view, and cross-setup protocols. Although unsupervised, our learnable representation allows our method even to surpass a few supervised skeleton-based action recognition methods. The code is available in: www.github.com/IIT-PAVIS/UHAR_Skeletal_Laplacian

연구 동기 및 목표

• 비지도 인간 동작 인식의 높은 비용과 제약을 해결하기 위해, 레이블이 없는 3D 뼈대 시퀀스에서 의미 있는 표현을 학습하는 비지도 방법을 개발한다.
• 실제 환경에서의 시점 변화에 대한 강건성을 향상시키기 위해, 적대적 훈련을 통한 자기지도 학습 기반의 시점 불변성을 도입한다.
• 뼈대 구조의 기하학적 사전 지식을 그래프 라플라시안 정규화를 통해 도입함으로써 특징 학습을 향상시킨다.
• 기하학적 제약과 불변성 제약을 갖춘 비지도 사전 훈련이 지도 학습 방법과 경쟁 가능한 표현을 도출할 수 있음을 입증한다.

제안 방법

• 잔차형 컨볼루션 오토에인코더를 사용하여 3D 뼈대 시퀀스로부터 비지도 방식으로 시공간 표현을 학습한다.
• 재구성 공간에 그래프 라플라시안 정규화를 적용하여 뼈대 기하학성을 유지하고 잠재 표현의 매끄러움을 강제한다.
• 입력 뼈대에 적용된 임의의 회전 변형을 적대적으로 재구성함으로써 시점 불변 특징을 학습하기 위해 자기지도 기반 기울기 반전 레이어를 도입한다.
• 특수한 데이터 증강을 위해 임의의 회전을 통해 생성된 합성 데이터를 사용하여 훈련을 보완하고, 특히 시점 간 및 설정 간 전이 설정에서 일반화 능력을 향상시킨다.
• 재구성 손실과 자기지도 회귀 손실을 함께 사용하여 종단간 훈련을 수행하며, 기울기 반전을 통해 레이블이 없는 시점 데이터 없이도 불변성을 달성한다.
• NTU-60 및 NTU-120 데이터셋에서 교차 주체, 교차 시점, 교차 설정 설정에서 1-NN 및 선형 평가 프로토콜을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 뼈대 기하학성을 인코딩함으로써 그래프 라플라시안 정규화가 비지도 특징 학습에 기여하는가?
• RQ2 기울기 반전을 통한 자기지도 시점 불변성이 기존 비지도 방법보다 더 나은 시점 간 일반화 성능을 이끌어내는가?
• RQ3 기하학적 제약과 불변성 제약를 갖춘 비지도 오토에인코더가 대규모 HAR 벤치마크에서 지도 학습 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 회전 변형을 가한 합성 데이터의 사용이 시점 간 및 설정 간 평가 프로토콜에서 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 GRAE-L 모델은 합성 데이터만을 사용하여 NTU-60 C-View에서 82.4%의 정확도, NTU-120 C-Setup에서 48.9%의 정확도를 기록하며, 이는 이전의 모든 비지도 뼈대 기반 방법을 능가한다.
• NTU-60 C-Subject에서 교차 시점 설정에서는 81.0%의 정확도, 교차 주체 설정에서는 52.3%의 정확도를 달성하여 이전의 최신 기술 수준 비지도 방법을 초월한다.
• 레이블이 전혀 없는 상태에서도, 특히 시점 간 및 설정 간 설정에서 몇몇 지도 학습 기반 HAR 방법을 뛰어넘는 성능를 기록한다.
• 제거 실험 결과, 자기지도 시점 불변성(SSVI)을 갖춘 모델는 기준 오토에인코더 및 AE-L보다 일관되게 뛰어난 성능를 보이며, 실제 데이터가 부족하거나 사전 처리가 제공되지 않을 경우 더욱 두드러진다.
• 선형 분류기로 비지도 인코더를 미세조정하면 NTU-60 C-View에서 83.8%, NTU-120 C-Setup에서 61.1%의 정확도를 기록하여 학습된 특징의 강력한 전이 가능성(transferability)을 입증한다.
• 실제 데이터보다 합성 데이터만으로 훈련할 경우 성능 저하가 발생하지만, SSVI 기반 모델은 비-SSVI 대비 여전히 뛰어난 성능를 보이며, 자기지도 불변성 메커니즘의 효과성을 입증한다.