[논문 리뷰] MausHaus Mathis Lab

Ye, Shaokai, Filippova, Anastasiia외 6명|arXiv (Cornell University)|2022. 03. 14.

Animal Behavior and Welfare Studies인용 수 14

한 줄 요약

이 논문은 인간의 레이블이 없이 45종 이상의 종에서 제로샷 추론을 가능하게 하는 동물 자세 추정을 위한 통합 기초 모델인 SuperAnimal을 소개한다. 일반화된 데이터 컨버터, 키포인트 기울기 마스킹, 메모리 재생을 통해 다양한, 일관되지 않은 레이블이 붙은 데이터셋에서 학습하면서 치명적인 잊음 현상을 방지한다. 이로 인해 기존의 전이 학습 방법보다 10–100배 높은 데이터 효율성을 달성하고, 6개의 자세 추정 벤치마크에서 최신 기술 수준의 성능을 기록한다.

ABSTRACT

Please see the full DataSheet that accomanies Ye et al. Nature Communications 2024

연구 동기 및 목표

• 다양한 동물 종과 레이블링 관행 간에 일반화되고 재사용 가능한 자세 추정 모델의 부족을 해결한다.
• 이름이 다를 뿐 아니라 부분적으로만 레이블이 붙은 키포인트를 가진 데이터셋을 통합하는 데 도전한다.
• 불균형하고 이질적인 데이터 입력에도 불구하고 치명적인 잊음 현상을 방지하면서 통합 모델을 훈련하는 방법을 개발한다.
• 높은 성능을 보이는 데이터 효율적인 피니팅과 비지도 영상 적응을 가능하게 하여 시간적 안정성과 정확도를 향상시킨다.
• 연구자들이 최소한의 레이블링 또는 재학습으로 사전 훈련된 모델을 즉시 사용할 수 있는 플러그 앤 플레이 솔루션을 제공한다.

제안 방법

• 다른 이름 체계와 키포인트 집합을 가진 데이터셋 간의 키포인트 공간을 통합하기 위해 일반화된 데이터 컨버터를 도입한다.
• 누락되거나 부분적으로만 레이블이 붙은 데이터셋에서 훈련할 때 모델 붕괴를 방지하기 위해 키포인트 기울기 마스킹을 구현한다.
• 이전에 본 키포인트 분포 지식을 유지하고 치명적인 잊음 현상을 완화하기 위해 메모리 재생을 적용한다.
• 추론 시 공간-피라미드 검색 전략을 사용하여 다양한 동물 크기와 카메라 시점에 적응한다.
• 타겟 레이블이 없이도 성능을 향상시키기 위해 허위 레이블링을 사용하는 비지도 영상 적응 방법을 개발한다.
• 디코더의 자세 사전 지식을 업데이트하면서 ImageNet 사전 훈련된 인코더의 이식 가능한 시각적 특징을 유지하는 태스크 인식 피니팅 프로토콜을 활용한다.

실험 결과

연구 질문

• RQ1 45종 이상의 종에서 인간의 레이블이 없이 다양한, 일관되지 않은 레이블이 붙은 자세 데이터셋에서 통합 기초 모델을 훈련시킬 수 있는가?
• RQ2 불균형하고 부분적으로 겹치는 키포인트 데이터셋에서 훈련할 때 치명적인 잊음 현상을 어떻게 방지할 수 있는가?
• RQ3 기존의 전이 학습 접근 방식에 비해 SuperAnimal 방법이 데이터 효율성에서 얼마나 향상되는가?
• RQ4 비지도 영상 적응이 시간적 진동을 현저히 줄이고 영상 시퀀스에서 자세 추정의 강건성을 향상시킬 수 있는가?
• RQ5 제로샷 추론이 행동 분류 및 걸음걸이 분석과 같은 후행 작업으로 일반화되는 정도는 어느 정도인가?

주요 결과

• SuperAnimal 모델은 TriMouse와 DLC-Openfield OOD 데이터셋을 포함한 6개의 자세 추정 벤치마크에서 최신 기술 수준의 성능을 기록한다.
• 피니팅을 통해 SuperAnimal 모델는 기준 전이 학습 방법보다 10–100배 더 높은 데이터 효율성을 보이며, 강력한 성능을 내기 위해 단 1~152 프레임만으로도 충분하다.
• 메모리 재생 덕분에 TriMouse 벤치마크에서 비재생 기준 모델 대비 성능 저하가 21.03배 감소하여 치명적인 잊음 현상을 방지함을 입증한다.
• 비지도 영상 적응은 키포인트 진동을 최대 6.61 단위 감소시켰으며(p < 0.0001), 쥐, 말, 엘크 등 테스트한 모든 종에서 뚜렷한 성능 향상을 기록한다.
• 제로샷 SuperAnimal 모델는 공식 MABe 자세 데이터에 비해 13개의 후행 행동 분할 작업에서 유사한 성능을 기록한다(t = -0.02, p = 0.99)로써 강력한 일반화 능력을 입증한다.
• 이 방법은 훈련 데이터의 1%만으로도 완전히 지도된 모델의 97.6% 성능을 달성할 수 있어 놀라운 데이터 효율성을 보여준다.