[논문 리뷰] Iterate & Cluster: Iterative Semi-Supervised Action Recognition.

Jingyuan Li, Eli Shlizerman|arXiv (Cornell University)|2020. 06. 12.

Human Pose and Action Recognition참고 문헌 21인용 수 7

한 줄 요약

이 논문은 액션 인식을 위한 새로운 반복적 준지도 학습 프레임워크인 Iterate & Cluster를 제안한다. 이 방법은 잠재 공간 내에서 비지도 자동에코더 기반 클러스터링을 활용하여 annotation에 가장 유용한 비디오 시퀀스를 능동적으로 선택한다. 소수의 인간 레이블이 있는 시퀀스를 반복적으로 이용해 클러스터-액션 연관성을 정교화함으로써, NW-UCLA 및 UWA3D와 같은 뼈대 기반 액션 인식 벤치마크와 마우스 움직임 데이터셋에서 상태최고 수준의 정확도를 달성한다. 레이블의 5%만으로도 성능을 20% 이상 향상시킨다.

ABSTRACT

We propose a novel system for active semi-supervised feature-based action recognition. Given time sequences of features tracked during movements our system clusters the sequences into actions. Our system is based on encoder-decoder unsupervised methods shown to perform clustering by self-organization of their latent representation through the auto-regression task. These methods were tested on human action recognition benchmarks and outperformed non-feature based unsupervised methods and achieved comparable accuracy to skeleton-based supervised methods. However, such methods rely on K-Nearest Neighbours (KNN) associating sequences to actions, and general features with no annotated data would correspond to approximate clusters which could be further enhanced. Our system proposes an iterative semi-supervised method to address this challenge and to actively learn the association of clusters and actions. The method utilizes latent space embedding and clustering of the unsupervised encoder-decoder to guide the selection of sequences to be annotated in each iteration. Each iteration, the selection aims to enhance action recognition accuracy while choosing a small number of sequences for annotation. We test the approach on human skeleton-based action recognition benchmarks assuming that only annotations chosen by our method are available and on mouse movements videos recorded in lab experiments. We show that our system can boost recognition performance with only a small percentage of annotations. The system can be used as an interactive annotation tool to guide labeling efforts for 'in the wild' videos of various objects and actions to reach robust recognition.

연구 동기 및 목표

• 액션 인식에서 높은 annotation 비용 문제를 해결하기 위해 필요한 인간 레이블 시퀀스 수를 최소화한다.
• KNN에 의존하는 비지도 클러스터링 방법의 한계를 극복하여, 감독 없이도 최적의 클러스터-액션 연관성을 확보한다.
• 잠재 공간 임베딩과 클러스터링 구조를 기반으로 가장 정보가 많은 시퀀스를 지능적으로 선택하는 능동 학습 전략을 개발한다.
• 다양한 데이터셋—특히 인간 뼈대 시퀀스와 마우스 움직임 비디오—에서 낮은 supervision 환경에서도 견고한 성능을 보여준다.

제안 방법

• 시간적 시퀀스 표현을 학습하고 잠재 상태를 액션 클러스터로 자가 조직화하기 위해 비지도 자동에코더 기반 인코더-디코더 모델을 사용한다.
• 학습된 잠재 공간에서 지도 없는 방식으로 동일한 액션 시퀀스를 그룹화하기 위해 클러스터링을 적용한다.
• 잠재 공간 내에서의 불확실성과 다양성을 기반으로 클러스터링 구조에 따라 유의미한 시퀀스를 annotation 대상으로 선택하는 능동 학습 전략을 설계한다.
• 새로운 레이블이 추가된 시퀀스를 반복적으로 통합하여 클러스터-액션 연관성을 정교화하고, 각 반복 단계에서 모델을 갱신하고 다시 클러스터링한다.
• 선택 전략이 다른 세 가지 변형—IC-KR, IC-KT, IC-KEP—을 도입한다. 각각 K-최근접 이웃 기반, 불확실성 기반, 그리고 이 둘의 융합 전략을 사용한다.
• 선택된 레이블 시퀀스만을 사용하여 최종 분류기를 훈련함으로써, 낮은 annotation 예산 조건에서도 높은 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 비지도 자동에코더 기반 클러스터링 방법을 능동 학습과 효과적으로 융합하여 액션 인식에서 annotation 비용을 줄일 수 있는가?
• RQ2 잠재 공간 임베딩과 클러스터링 구조를 기반으로 한 선택 전략이, 무작위 또는 KNN 기반 annotation 대비 레이블 당 정확도 향상 수준은 어떻게 되는가?
• RQ3 소수의 데이터만 레이블이 되었을 때, 클러스터-액션 연관성의 반복적 정교화가 인식 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 인간 외의 주체(예: 쥐)를 포함한 다양한 액션 인식 데이터셋으로 일반화 가능한가?

주요 결과

• NW-UCLA 데이터셋에서 레이블의 5%만 사용했을 때 IC-KEP 변형은 72.2%의 정확도를 달성했으며, 기준 KNN 방법 대비 20.2% 향상된 성능을 보였다.
• UWA3D 데이터셋에서는 100% 레이블을 사용했을 때 IC-KEP가 95.3%의 정확도를 기록했고, C-EP 능동 학습 방법(95.8%)을 초월하며, 레이블 수가 적을 때도 견고한 성능을 유지했다.
• 마우스 데이터셋에서 IC-KEP 전략은 레이블 예산 5%에서 28.9%의 정확도를 달성했으며, KNN(18.7%) 및 기타 기준 방법보다 뚜렷한 우수성을 보였다.
• 초기 반복 단계에서 성능 향상이 급격히 이루어졌고, 특히 레이블 예산이 적을 경우(예: 5% 및 20%) IC-KEP는 C 및 C-EP 대비 성능 격차를 확보했다.
• C-EP의 성능는 임베딩 공간 내 레이블 분포에 매우 민감한 반면, IC-KEP는 체계적인 선택 전략 덕분에 일관된 성능 향상을 유지했다.
• 100% annotation이 완료된 상황에서도 IC-KEP 방법은 최고 수준의 지도 학습 기준 방법과 동일하거나 이를 초월했으며, 이는 반복적 능동 학습 과정이 모델 일반화 능력을 향상시킨다는 것을 시사한다.