[논문 리뷰] Self-Supervised Keypoint Discovery in Behavioral Videos

Jennifer J. Sun, Serim Ryou외 7명|arXiv (Cornell University)|2021. 12. 09.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 수동 레이블이 없이 행동 영상에서 의미 있는 키포인트를 자율적으로 탐지하는 B-KinD를 제안한다. 인코더-디코더 아키텍처에 기하학적 블로킹을 사용하여 프레임 간의 시공간적 차이를 재구성함으로써, 모델은 움직이는 개체에 집중하여 쥐, 파리, 인간, 해면충, 나무를 포함한 다양한 생물에서 키포인트 회귀와 행동 분류 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a method for learning the posture and structure of agents from unlabelled behavioral videos. Starting from the observation that behaving agents are generally the main sources of movement in behavioral videos, our method, Behavioral Keypoint Discovery (B-KinD), uses an encoder-decoder architecture with a geometric bottleneck to reconstruct the spatiotemporal difference between video frames. By focusing only on regions of movement, our approach works directly on input videos without requiring manual annotations. Experiments on a variety of agent types (mouse, fly, human, jellyfish, and trees) demonstrate the generality of our approach and reveal that our discovered keypoints represent semantically meaningful body parts, which achieve state-of-the-art performance on keypoint regression among self-supervised methods. Additionally, B-KinD achieve comparable performance to supervised keypoints on downstream tasks, such as behavior classification, suggesting that our method can dramatically reduce model training costs vis-a-vis supervised methods.

연구 동기 및 목표

• 수동 레이블이 없는 행동 영상에서 키포인트 탐지를 가능하게 하여 행동 분석의 학습 비용을 절감하는 것.
• 기존 자율 학습 키포인트 방법이 경계 상자나 다중 또는 중심에서 벗어난 개체를 처리하지 못하는 한계를 해결하는 것.
• 행동 영상에서 정적 배경의 구조적 특성을 활용하여 키포인트 국소화 성능을 향상시키는 것.
• 하류 작업인 행동 분석에서 감독 학습 기반 키포인트 검출기와 비교할 만한 성능을 달성하는 것.
• 해석 가능하고 행동 특징 계산에 유용한 의미 있는 저차원 표현을 생성하는 것.

제안 방법

• 모델은 프레임 간 시공간적 차이를 재구성하기 위해 기하학적 블로킹을 갖춘 인코더-디코더 아키텍처를 사용한다.
• 재구성 목표는 시간에 따른 픽셀 강도의 차이이며, 이는 주로 움직이는 개체인 행동하는 개체에 초점을 맞추고 정적 배경은 억제한다.
• 키포인트는 블로킹의 잠재 표현에서 예측되며, 신뢰도 점수는 히트맵 피크 값에서 유도된다.
• 모델은 원시 영상 프레임에 대한 재구성 손실을 사용해 엔드 투 엔드로 훈련되며, 경계 상자나 인간 레이블이 없는 키포인트 레이블이 필요하지 않다.
• 데이터 증강 및 이미지 정렬(예: 드론 촬영 나무 영상에 적용)을 통해 카메라 드리프트 및 운동 변동성에 대한 강건성을 향상시킨다.
• 모델은 외관이나 객체 특화 특징이 아닌 운동 기반의 구조적 변화에 초점을 맞추어 다양한 생물에 일반화된다.

실험 결과

연구 질문

• RQ1 실제 행동 영상에서 수동 레이블 없이 자율 학습 키포인트 탐지를 효과적으로 적용할 수 있는가?
• RQ2 단일 프레임 재구성과 비교해 시공간적 차이 재구성을 통해 키포인트 국소화 성능이 향상되는가?
• RQ3 탐지된 키포인트는 다양한 형태와 운동 방식을 가진 생물 간에 일반화 가능한가?
• RQ4 하류 행동 분류 및 키포인트 회귀 작업에서 자율 학습 키포인트의 성능은 감독 기반 기준 모델과 비교해 어떻게 되는가?
• RQ5 모델의 히트맵 예측에서 유도된 신뢰도 점수는 가림되거나 시야가 나쁜 신체 부위를 식별하는 데 도움이 되는가?

주요 결과

• B-KinD는 CalMS21, Fly-vs-Fly, Human 3.6M, Jellyfish, Vegetations를 포함한 모든 테스트 데이터셋에서 자율 학습 키포인트 회귀에서 최신 기술 수준의 성능을 달성한다.
• 모델은 감독 학습 기반 키포인트 모델과 비교해 유사한 행동 분류 정확도를 확보하여 레이블링 비용을 크게 절감한다.
• 탐지된 키포인트는 의미적으로 유의미하며, 쥐, 파리, 인간, 해면충에서 코, 척추, 관절, 날개 끝 등 해부학적 기능을 일관되게 국소화한다.
• 신뢰도 점수는 가시성과 상관관계가 있다 — 배경이나 가려진 부위에서는 낮고, 쥐의 코처럼 명확하게 보이는 신체 부위에서는 높다.
• 모델은 다중 개체(예: 같은 프레임 내 파리와 쥐) 및 복잡한 운동(예: 흔들리는 나무, 인간의 자기 가림)에도 일반화된다.
• 한계로 대칭 자세에서 좌우가 뒤바뀌는 현상과 심한 가림 상황에서 정확도 저하가 관찰되어, 향후 3D 다중 시점 확장으로 개선 가능성이 있다.