[논문 리뷰] A Universal Action Space for General Behavior Analysis

Hung–Shuo Chang, Yue-Cheng Yang외 7명|arXiv (Cornell University)|2026. 02. 10.

Human Pose and Action Recognition인용 수 0

한 줄 요약

본 논문은 대규모 인간 동작 데이터로부터 Universal Action Space (UAS)를 구축하고 이를 동결된 백본으로 사용하여 경량 헤드들로 동물 행동을 효율적으로 분석하되, 학습 비용을 크게 줄이며 강력한 성능을 달성한다.

ABSTRACT

Analyzing animal and human behavior has long been a challenging task in computer vision. Early approaches from the 1970s to the 1990s relied on hand-crafted edge detection, segmentation, and low-level features such as color, shape, and texture to locate objects and infer their identities-an inherently ill-posed problem. Behavior analysis in this era typically proceeded by tracking identified objects over time and modeling their trajectories using sparse feature points, which further limited robustness and generalization. A major shift occurred with the introduction of ImageNet by Deng and Li in 2010, which enabled large-scale visual recognition through deep neural networks and effectively served as a comprehensive visual dictionary. This development allowed object recognition to move beyond complex low-level processing toward learned high-level representations. In this work, we follow this paradigm to build a large-scale Universal Action Space (UAS) using existing labeled human-action datasets. We then use this UAS as the foundation for analyzing and categorizing mammalian and chimpanzee behavior datasets. The source code is released on GitHub at https://github.com/franktpmvu/Universal-Action-Space.

연구 동기 및 목표

• 인간과 동물 행동 분석 모두에 대해 확장 가능하고 일반화 가능한 동작 표현의 필요성을 제시한다.
• 인간 동작 데이터셋으로부터 대규모 Universal Action Space (UAS)를 구축하고 이를 동물 행동 작업으로의 전이 가능성을 테스트한다.
• 다운스트림 작업은 동결된 UAS에서 경량 헤드를 학습시켜 해결할 수 있음을 보여주고, 이를 통해 계산 자원과 학습 시간을 줄인다.

제안 방법

• Video Swin Transformer (VST)로 600개의 인간 동작 클래스에서 모션 특징을 추출하고 이를 UAS로 투영하여 고차원 동작 임베딩을 구성한다.
• UAS를 동결된 백본으로 사용하고, 동결된 특징 위에 경량 분류기를 학습시켜 다운스트림 도메인에 대해 태스크 특화 서브스페이스를 형성한다.
• 동물 행동 비디오를 VST를 통해 UAS로 매핑하고 동결 표현에 선형 분류기를 학습시켜 전이 가능성을 평가한다.
• 전체 백본 미세조정 기준선과 비교하고 학습 시간 및 파라미터 수의 효율성을 보고한다.

실험 결과

연구 질문

• RQ1 복잡한 인간 행동에 대해 사전학습된 UAS가 백본 미세조정 없이도 다운스트림 동물 행동 분석 작업으로 효과적으로 전이될 수 있는가?
• RQ2 백본을 동결하고 경량 헤드를 학습시키는 것이 상당한 효율성 이득과 함께 경쟁력 있는 정확도를 낼 수 있는가?
• RQ3 다양한 데이터셋과 kinetics-사전학습 규모(K-400, K-600, K-700)에서 UAS-지원 선형 탐색의 성능은 어떠한가?

주요 결과

모델	백본	사전학습	학습 전략	Top-1 ↑	MCA ↑	학습 시간(hr) ↓	#Params (K) ↓
MammalNet [11]	MViTv2 [21]	K-400	Full Fine-tune	46.6	37.8	248.8	51,028.7
Ours	VST	K-400	Linear Probe	56.6	43.2	8.3	12.3
ChimpBehave [16]	X3D [15]	K-400	Full Fine-tune	90.3	67.2	-	6,153.4
Ours	VST	K-400	Linear Probe	93.7	65.8	3.9	7.2
Ours	VST	K-600	Linear Probe	93.5	72.3	3.9	7.2
Ours	VST	K-700	Linear Probe	94.2	56.4	3.9	7.2

• 인간 동작으로 미리 학습된 UAS가 동결된 백본에서 선형 탐색을 사용하여 동물 행동 인식 작업으로 효과적으로 전이된다.
• MammalNet에서 UAS와 선형 탐색은 56.6% Top-1 및 43.2% MCA를 달성하여 기준선 대비 Top-1이 21.5%포인트 높고 학습 가능한 파라미터 수가 훨씬 적다.
• ChimpBehave에서 UAS 구성은 기본선보다 Top-1 정확도에서 최소 3.8% 포인트 앞서며, MCA 이득은 K-600 사전학습일 때 최고이다.
• UAS 기반 선형 탐색은 기준선 학습 시간과 파라미터 수의 매우 작은 비율만 필요하며(절차별로 0.12%의 파라미터까지도 가능).
• 실험 전반에 걸쳐 kinetics 사전학습을 400에서 700으로 늘리면 성능이 향상되거나 유지되며 효율성은 유지된다.