[論文レビュー] A Universal Action Space for General Behavior Analysis

Hung–Shuo Chang, Yue-Cheng Yang+7 more|arXiv (Cornell University)|Feb 10, 2026

Human Pose and Action Recognition被引用数 0

ひとこと要約

この論文は大規模な人間の行動データからUniversal Action Space（UAS）を構築し、それを凍結されたバックボーンとして用いることで軽量ヘッドで動物行動を効率的に分析し、はるかに少ない学習コストで高い性能を達成します。

ABSTRACT

Analyzing animal and human behavior has long been a challenging task in computer vision. Early approaches from the 1970s to the 1990s relied on hand-crafted edge detection, segmentation, and low-level features such as color, shape, and texture to locate objects and infer their identities-an inherently ill-posed problem. Behavior analysis in this era typically proceeded by tracking identified objects over time and modeling their trajectories using sparse feature points, which further limited robustness and generalization. A major shift occurred with the introduction of ImageNet by Deng and Li in 2010, which enabled large-scale visual recognition through deep neural networks and effectively served as a comprehensive visual dictionary. This development allowed object recognition to move beyond complex low-level processing toward learned high-level representations. In this work, we follow this paradigm to build a large-scale Universal Action Space (UAS) using existing labeled human-action datasets. We then use this UAS as the foundation for analyzing and categorizing mammalian and chimpanzee behavior datasets. The source code is released on GitHub at https://github.com/franktpmvu/Universal-Action-Space.

研究の動機と目的

• 人間と動物の行動分析のための、拡張性があり一般化可能なアクション表現の必要性を動機づける。
• 人間の行動データセットから大規模なUniversal Action Space（UAS）を構築し、その動物行動タスクへの移行性を検証する。
• 凍結されたUAS上で軽量ヘッドを訓練することで下流タスクを解決し、計算量と訓練時間を削減することを示す。

提案手法

• Video Swin Transformer（VST）を用いて600個の人間行動クラスから運動特徴を抽出し、それらをUASに射影して高次元のアクション埋め込みを構築する。
• UASを凍結バックボーンとして用い、凍結特徴の上に軽量分類器を学習させることで下流領域のタスク特有のサブスペースを形成する。
• 動物の行動ビデオをVSTでUASへマッピングし、凍結表現上で線形分類器を訓練して移行性を評価する。
• フルバックボーンのファインチューニングベースラインと比較し、訓練時間とパラメータ数の効率性を報告する。

実験結果

リサーチクエスチョン

• RQ1 K-400/ K-600/ K-700の前訓練スケールで、バックボーンのファインチューニングなしにUASが動物行動分析タスクへ効果的に転移できるか？
• RQ2 バックボーンを凍結し、軽量ヘッドを訓練することで、顕著な効率化を達成しつつ競争力のある精度を得られるか？
• RQ3 UASを用いた線形プロービングは、異なるデータセットとkineticsの前訓練規模（K-400、K-600、K-700）でどのように性能を発揮するか？

主な発見

model	Backbone	Pre-trained	Training Strategy	Top-1 ↑	MCA ↑	Training Time (hr) ↓	#Params (K) ↓
MammalNet [11]	MViTv2 [21]	K-400	Full Fine-tune	46.6	37.8	248.8	51,028.7
Ours	VST	K-400	Linear Probe	56.6	43.2	8.3	12.3
ChimpBehave [16]	X3D [15]	K-400	Full Fine-tune	90.3	67.2	-	6,153.4
Ours	VST	K-400	Linear Probe	93.7	65.8	3.9	7.2
Ours	VST	K-600	Linear Probe	93.5	72.3	3.9	7.2
Ours	VST	K-700	Linear Probe	94.2	56.4	3.9	7.2

• 人間の行動データで事前訓練したUASは、凍結バックボーン上での線形プロービングによって動物行動認識タスクへ効果的に転移する。
• MammalNetでは、線形プロービングを用いたUASがTop-1 56.6%およびMCA 43.2%を実現し、ベースラインよりTop-1が21.5%高く、訓練可能なパラメータも大幅に少ない。
• ChimpBehaveでは、UAS構成はTop-1精度で少なくとも3.8%の上回りを安定して示し、K-600の前訓練を用いた場合に最も大きなMCAの向上を達成する。
• UASベースの線形プロービングは、アブレーション研究で見られるように、ベースラインの訓練時間とパラメータ数のごく一部（パラメータは0.12%程度まで低減可能）で済む。
• 全実験を通じて、kineticsの前訓練を400から700へ増やすと、性能が向上または維持されつつ効率性が保たれる。