[논문 리뷰] Learning When to Look: On-Demand Keypoint-Video Fusion for Animal Behavior Analysis

Weihan Li, Jingyang Ke외 3명|arXiv (Cornell University)|2026. 03. 07.

Zebrafish Biomedical Research Applications인용 수 0

한 줄 요약

LookAgain은 키포인트 기반 모션과 필요 시 시각적 그라운딩을 결합해 동물 행동을 분석하며, 키포인트 신호가 모호할 때에만 영상 처리를 활성화하는 게이팅 모듈을 학습시켜, 훨씬 적은 프레임으로도 유사한 성능을 달성합니다.

ABSTRACT

Understanding animal behavior from video is essential for neuroscience research. Modern laboratories typically collect two complementary data streams: skeletal keypoints from pose estimation tools and raw video recordings. Keypoint-based methods are efficient but suffer from geometric ambiguity, environmental blindness, and sensitivity to occlusions. Video-based methods capture rich context but require processing every frame, making them impractical for the hundreds of hours of recordings that modern experiments produce. We introduce LookAgain, a multimodal framework that combines the efficiency of keypoints with the representational power of video through on-demand visual grounding. During training, LookAgain uses dense visual features to pretrain a motion encoder and to train a gating module that learns which frames require visual context. During inference, this gating module activates visual processing only when keypoint signals are ambiguous, while maintaining performance comparable to using all frames. Experiments on single-animal and multi-animal benchmarks show that LookAgain achieves strong performance with significantly reduced computational cost, enabling high-quality behavior analysis on long-duration recordings.

연구 동기 및 목표

• 키포인트와 비디오를 함께 활용하여 효율적인 동물 행동 분석을 촉진합니다.
• 밀집 시각 특성을 사전 학습에 사용하고 필요한 추론을 위한 학습된 게이트를 갖춘 학습-추론 분리 프레임워크를 개발합니다.
• 장시간 기록에서 감독 학습 행동 분류와 비감독 행동 구분을 모두 가능하게 합니다.

제안 방법

• 키포인트 시퀀스에 대해 밀집 시각 가이던스를 사용하여 네 가지 손실(마스크, 교차 모달 시각 예측, 모션 재구성, RVQ 약정)을 활용해 모션 인코더를 사전 학습합니다.
• 잔차 벡터 양자화로 모션을 토큰화하고 Transformer로 시간 맥락을 모델링하며, 다수의 동물이 있을 때는 교차-동물 주의로 사회적 맥락을 모델링합니다.
• 고정된 비전 인코더에서 시각 특징을 추출하고 시각 투영 모듈을 통해 모션 공간에 정렬합니다.
• 정보를 많이 담은 상위 k 프레임을 선택해 시각 처리를 활성화하는 게이팅 모듈로 미세조정하여 모션과 시각 특징의 필요 기반 융합을 가능하게 합니다.
• 게이팅된 시각 표현을 모션 임베딩과 융합해 감독 분류와 비감독 구분을 수행하고, 구분에는 DEC 기반 클러스터링, 시간적 일관성을 촉진하기 위한 전체 변동성 페널티를 사용합니다.

실험 결과

연구 질문

• RQ1 필요 시 시각적 그라운딩 게이트가 계산량을 줄이면서 동물 행동 분석에서 성능을 유지할 수 있을까요?
• RQ2 밀집 시각 사전 학습을 활용한 학습-추론 분리 방식이 라벨이 부족한 조건에서 하류 분류와 구분을 개선할까요?
• RQ3 단일 동물 대 다중 동물 사회 행동에서 키포인트-비디오 융합의 성능은 어떠하며, 특히 가려짐이나 신원 모호성 하에서 어떤가요?
• RQ4 게이팅 구성요소들(키포인트 신뢰도, 모션 특이성, 의미론적 맥락)이 게이팅 효과에 미치는 영향은 무엇인가요?

주요 결과

• 필요 시 시각 그라운딩으로 프레임의 25%만 활성화해도 감독 작업에서 모든 프레임을 사용하는 것과 유사한 성능을 달성합니다.
• 밀집 시각 특징으로 모션 인코더를 사전 학습하는 것이 처음부터 학습하는 것보다 하류의 감독 및 비감독 성능을 향상시킵니다.
• 게이팅 메커니즘은 균일한 프레임 샘플링보다 우수하며, 모션 특이성(q_t)이 가장 중요한 구성요소입니다.
• 키포인트-비디오 융합이 여러 사회 행동에서 가장 강력한 결과를 보이며, 구강 접촉과 같은 일부 행동은 정밀 기하학적 키포인트에 더 의존할 수 있습니다.
• 비감독 구분은 시각 그라운딩으로 이익을 얻고, 키포인트만으로는 놓치는 Feeding과 같은 해석 가능한 행동을 발견할 수 있습니다.