[논문 리뷰] Sparse Semi-Supervised Action Recognition with Active Learning

Jingyuan Li, Eli Shlizerman|arXiv (Cornell University)|2020. 12. 03.

Human Pose and Action Recognition참고 문헌 39인용 수 13

한 줄 요약

이 논문은 자동에코 뉴럴 네트워크를 통한 비지도 표현 학습과 활성 학습을 조합하여 가장 정보가 많은 스켈레톤 시퀀스를 선택하여 레이블링하는 희소한 반감독형 행동 인식 프레임워크인 SESAR를 제안한다. 순차적 재구성용 인코더-디코더와 불확실성 및 군집 기반 선택에 의해 유도되는 분류기의 공동 학습을 통해, NW-UCLA, NTU RGB+D 60, UWA3D 데이터셋에서 최소 1%의 레이블 데이터로도 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Current state-of-the-art methods for skeleton-based action recognition are supervised and rely on labels. The reliance is limiting the performance due to the challenges involved in annotation and mislabeled data. Unsupervised methods have been introduced, however, they organize sequences into clusters and still require labels to associate clusters with actions. In this paper, we propose a novel approach for skeleton-based action recognition, called SESAR, that connects these approaches. SESAR leverages the information from both unlabeled data and a handful of sequences actively selected for labeling, combining unsupervised training with sparsely supervised guidance. SESAR is composed of two main components, where the first component learns a latent representation for unlabeled action sequences through an Encoder-Decoder RNN which reconstructs the sequences, and the second component performs active learning to select sequences to be labeled based on cluster and classification uncertainty. When the two components are simultaneously trained on skeleton-based action sequences, they correspond to a robust system for action recognition with only a handful of labeled samples. We evaluate our system on common datasets with multiple sequences and actions, such as NW UCLA, NTU RGB+D 60, and UWA3D. Our results outperform standalone skeleton-based supervised, unsupervised with cluster identification, and active-learning methods for action recognition when applied to sparse labeled samples, as low as 1% of the data.

연구 동기 및 목표

• 감독 기반 스켈레톤 기반 행동 인식에서의 높은 레이블링 비용과 레이블링 오류를 해결하기 위해.
• 비지도 방법의 한계를 극복하기 위해 클러스터를 행동과 연관지기 위해 사후 레이블링이 필요로 하는 문제를 해결하기 위해.
• 비라벨 데이터를 활용하고, 레이블링을 위해 가장 정보가 많은 샘플들만 적극적으로 선택하는 반감독 프레임워크를 개발하기 위해.
• 매우 희소한 레이블링 환경, 예를 들어 학습 데이터의 1%만 레이블링된 경우에도 성능을 향상시키기 위해.
• 스켈레톤 시퀀스를 대상으로 불확실성과 군집 기반 샘플링 전략을 활성 학습 파이프라인에 통합하기 위해.

제안 방법

• 원시 스켈레톤 시퀀스를 비지도 방식으로 재구성하기 위해 인코더-디코더 기반 GRU 기반 RNN을 학습하여 분리된 잠재 표현을 학습한다.
• 소량의 레이블된 시퀀스만을 사용하여 잠재 표현 기반의 단일층 분류기를 학습한다.
• 잠재 공간 내에서 예측 불확실성과 군집 밀도를 기반으로 레이블링을 위한 시퀀스를 활성 학습을 통해 선택한다.
• 두 가지 활성 학습 변형을 제안한다: SESAR-KJS(불확실성 + 유사도)와 SESAR-KT(불확실성 + 최근접 이웃 k개), 모두 잠재 표현을 기반으로 선택한다.
• 인코더-디코더와 분류기를 함께 학습하며, 재구성 손실과 분류 손실을 동시에 최적화한다.
• 프레임워크는 레이블 희소성에 따라 다양하게 변하는 조건(1%에서 50%)에서 세 가지 벤치마크 데이터셋(NW-UCLA, NTU RGB+D 60, UWA3D)에서 평가된다.

실험 결과

연구 질문

• RQ1 비지도 표현 학습과 활성 학습을 조합하면 스켈레톤 기반 행동 인식에서 필요한 레이블된 시퀀스 수를 크게 줄일 수 있는가?
• RQ2 잠재 공간 내에서 군집 구조와 예측 불확실성을 통합하면 희소 레이블링 환경에서 활성 학습 성능가 개선되는가?
• RQ3 레이블 데이터가 1%일 경우 SESAR가 독립된 감독, 비지도, 활성 학습 기반 모델보다 우수한 성능을 내는가?
• RQ4 극도의 레이블 부족 조건에서 불확실성 전용 대비 불확실성 + 유사도 전략 등의 다양한 활성 학습 전략은 어떻게 비교되는가?
• RQ5 재구성 및 분류 컴포넌트의 공동 학습이 최소한의 감독 하에서 일반화 성능 향상에 얼마나 기여하는가?

주요 결과

• NTU RGB+D 60 데이터셋에서 레이블 데이터가 1%뿐인 경우(400개 시퀀스), SESAR-KJS는 38.2%의 정확도를 기록하여 동일 조건에서 ASSL(33.1%)과 MS²L(33.1%)을 능가했다.
• NTU에서 5% 레이블 데이터를 사용할 경우 SESAR-KJS는 57.8%의 정확도를 기록하여 다음으로 우수한 방법인 ASSL(57.3%)을 초월했다.
• NW-UCLA에서 5% 레이블링 조건에서 SESAR-KJS는 58.1%의 정확도를 달성하여 최고의 베이스라인(ASSL 52.6%)을 뛰어넘었다.
• UWA3D에서 10% 레이블링 조건에서 SESAR-KT는 58.8%의 정확도를 기록하여 다음으로 좋은 방법인 SESAR-CS(55.8%)를 능가했다.
• 레이블 수가 증가함에 따라 SESAR와 베이스라인 간의 성능 격차가 줄어들며, 이는 활성 학습의 이점이 가장 극명하게 드러나는 극도의 희소성 조건에서 나타남을 시사한다.
• 학습 곡선 분석 결과, 5% 레이블링 조건에서 SESAR-KT는 첫 몇 에포크 내에 급격한 정확도 향상을 보였고, 독립된 분류기는 수평선을 유지했으며, 균일 샘플링은 수렴하기까지 많은 에포크가 소요되었다.